Sir John Edward Duncombe, consul de Grande-Bretagne à Florence, regagne sa villa après l'enterrement de sa femme. Accablé de chagrin, il retrouve ses deux fils, Andrea, 10 ans, et Milo, 6 ans. Il ne confie la vérité qu'à l'aîné, qu'il considère comme assez mûr, mais dont l'apparente indifférence le blesse. Petit à petit, Duncombe reporte toute sa tendresse sur le petit Milo. Andrea assiste, silencieux, à l'éloignement de son père. L'oncle Will vient passer quelques jours à la villa. Le vieil homme comprend la douleur et la fierté secrète d'Andrea et invite son frère à se rapprocher de son fils aîné. Le consul projette alors d'emmener Andrea en voyage à Rome. L'enfant est ravi...

À New York, à la fin de la prohibition, Noodles se réfugie dans une fumerie d'opium après un coup qui a mal tourné. Plus de trente ans plus tard, il est de retour en ville et se remémore son passé de gangster : de sa jeunesse de voyou dans les années 20, marquée par sa rencontre avec son ami Max et leurs nombreux trafics dans le ghetto juif de la ville, jusqu'à la période de prohibition où leur bande, liée par une profonde amitié, s'enrichit et marque son ascension dans la pègre grâce au commerce illégal d'alcool. Noodles se rappelle aussi de sa relation amoureuse échouée avec Deborah durant toute sa vie.