Mark Margolis a bien étudié à l'université de Philadelphie, c'est à New York qu'il décide de faire sa vie pour tenter sa chance en tant qu'acteur. Il réussit à intégrer l'école de "l'Actor's studio" où il apprend avec Stella Adler.
Il débute au cinéma au milieu des années 70 et ne cesse depuis d'obtenir des seconds rôles dans des films cultes du cinéma américain : on a pu le voir dans Diner, Scarface, Cotton Club, 1492: Christophe Colomb, Les Pleins Pouvoirs... Par la suite, il devient, dès Pi le premier film de Darren Aronofsky, l'un des acteurs attitrés du jeune prodige américain qui le fait tourner dans tous ses films : Requiem for a Dream, The Fountain et The Wrestler. On a pu voir Mark Margolis dans Les Insurgés de Edward Zwick.
A la télévision, il est apparu dans Equalizer, Code Quantum, Santa Barbara ou encore Oz.
