Acteur américain haut en couleur, tout aussi convaincant dans les rôles de tueurs impitoyables que dans ceux de compagnons bourrus. Enfant, il a travaillé dans les champs de coton. Il a étudié au Santa Monica Junior College en Californie avant de devenir comptable et, à une époque, directeur du Bel Air Hotel. Elam a décroché son premier rôle au cinéma en échangeant ses services comptables contre une apparition. Il s'est rapidement imposé comme l'un des acteurs de second rôle les plus mémorables d'Hollywood, grâce non seulement à son personnage décalé et quasi dérangé à l'écran, mais aussi à son œil gauche désaxé, rendu aveugle lors d'une bagarre pendant son enfance. Il a brillé avec beaucoup d'assurance dans les westerns et les films de gangsters, et dans ses dernières années, il s'est montré remarquable dans les rôles comiques.