Il possède ce même charme authentique et irrésistible, arbore cette même mâchoire carrée caractéristique et s'avère tout aussi séduisant et talentueux que son frère aîné, Dick Van Dyke, mais pendant des décennies, Jerry Van Dyke a dû supporter le poids écrasant de l'ombre de son frère. L'acteur comique est né six ans après Dick, le 27 juillet 1931, à Danville, en Illinois. Élevé là-bas, ce blond aux cheveux coupés court s'est révélé avoir un vrai don pour le comique dès le lycée. Ses premières apparitions en tant que comédien de stand-up se sont déroulées dans des petits bars miteux et des clubs de strip-tease du Deep South, où sa maîtrise du banjo constituait une part essentielle de son numéro. À un moment donné, Jerry était une vedette régulière du circuit des clubs Playboy. Il a ensuite visé les plus grands cabarets de Las Vegas, Lake Tahoe et Atlantic City, devenant une ouverture de spectacle de confiance.
La carrière précoce de Jerry aurait dû être légitimement interrompue quand il s'est engagé dans l'armée de l'air en 1952. À la place, il a continué à faire rire les troupes en se produisant dans des spectacles des Services spécialisés. Remporter un concours de talents militaires lui a valu quelques passages au Ed Sullivan Show et l'exposition télévisée qui en a résulté. Après son service militaire, il a décroché des apparitions variées et un rôle régulier de faire-valoir comique dans The Judy Garland Show. Il a également trouvé des rôles d'acteur comique à la télévision. Comme son frère Dick, qui était déjà une énorme vedette de la télévision à cette époque, Jerry a aussi animé un jeu télévisé. Dans son cas, il s'agissait de Picture This.