Szeps est né à Lausanne, en Suisse. Suite à l'invasion allemande de la Pologne, ses parents ont fui en France. Son père a quitté la famille pour rejoindre la Résistance française, tandis que sa mère et sa sœur, alors âgée de trois ans, se sont rendues dans un camp de réfugiés à Lausanne, où Henri a vu le jour. Il a passé beaucoup de temps dans des familles d'accueil, puis dans un orphelinat français, avant d'arriver en Australie à l'âge de huit ans avec sa mère et sa sœur.
Szeps est probablement surtout connu pour son rôle du dentiste égoïste Robert Beare dans la célèbre série comique australienne Mother and Son (1984 à 1994), aux côtés de Garry McDonald, Ruth Cracknell et Judy Morris. Un autre rôle marquant a été celui dans Palace of Dreams, pour lequel il a reçu un Penguin Award. Il a incarné le Docteur dans la première mondiale de la pièce de David Williamson, Travelling North, et a été invité à reprendre ce rôle dans l'adaptation cinématographique de 1987, aux côtés de Leo McKern et Graham Kennedy.