Après avoir déserté l'armée coloniale, un homme arrive dans le port du Havre. Au bout du quai, dans une baraque où il cherche un abri, il rencontre une jolie jeune femme, orpheline. C'est le coup de foudre: mais le destin semble leur interdire un bonheur durable.
À la veille de la Seconde Guerre mondiale, Jean, un soldat déserteur de l’armée coloniale, se rend au Havre dans l’espoir de quitter le pays. Il tombe amoureux d’une jeune femme, Nelly, rencontrée dans un bar près du port. Nelly vit dans la terreur de son tuteur, Zabel, qu’elle soupçonne d’avoir tué son amant. Jean et Nelly vivent un amour passionné et clandestin, mais Jean doit s’embarquer pour le Venezuela. Au moment où son bateau s’apprête à partir, Jean décide de rejoindre Nelly. Il arrive à temps pour la sauver des mains de Zabel, qu’il assassine. Nelly pousse Jean à s’enfuir, mais celui-ci est lâchement tué par Lucien, un petit malfrat dont il s’était attiré l’inimitié.
Un policier est chargé d'infiltrer une bande de gangsters dont le chef est en prison. Ce dernier dirige l'organisation depuis la cellule, grâce à un poste à ondes courtes. Le chef ayant été découvert il est mis au secret, pendant que le policier, qui lui ressemble comme deux gouttes d'eau, prend sa place.
Roger Grant, qui a délaissé la musique classique pour le ragtime, monte un orchestre de jazz. Il tombe rapidement amoureux de la chanteuse Stella Kirby, que convoite également le jeune compositeur Charlie Dwyer. Cette histoire d'amour à trois va se jouer sur plus de 20 ans, au son d'une trentaine de chansons d'Irving Berlin.