Découvert dans la mini-série Les ailes du destin, Harold Perrineau trouve son premier vrai rôle dans le film Smoke de Paul Auster et Wayne Wang. L'acteur a déjà tourné auparavant dans Cosby Show, Fame ou The King of New York d'Abel Ferrara. Baz Lurhmann lui confie le rôle de Mercutio face à Léonardo Di Caprio.
Mais c'est la télévision qui apporte la popularité à cet acteur issu du théâtre à travers la série Oz où il interprète Augustus Hill, personnage en fauteuil roulant qui sert de narrateur et d'hôte à l'univers carcéral dépeint par Tom Fontana. Il passe aussi par l'hôpital du Cook County de la série Urgences, le temps d'un mémorable épisode de la saison 4 avant de revenir au cinéma via différents films tels que Lulu on the Bridge, Woman on top - Amour, piments et bossa nova ou encore les deux derniers volets de la trilogie Matrix ( Matrix Reloaded, Matrix Revolutions).
En 2004, le personnage de Michael Dawson dans la série à succès Lost, les disparus lui accroit sa popularité. Perrineau y donne toute la dimension de son talent à travers un rôle attachant qui met tout en œuvre pour garder son fils. Le 19 septembre 2007 il est à l'affiche de 28 semaines plus tard de Juan Carlos Fresnadillo, suite du film 28 jours plus tard de Danny Boyle.
