Fils d'un professeur de musique et d'un courtier en assurances - ses parents sont de taille " normale ", tout comme son frère aîné John, violoniste -- Peter suit des études d'art dramatique au Bennington College, dans le Vermont. Diplômé en 1991, il fait bientôt partie des acteurs les plus courus Off-Broadway, se produisant dans des oeuvres telles que I Wanna Be Adored de Marc Spitz, Imperfect Love, de Brandon Cole, et Hollywood, de Jonathan Marc Sherman.
Sa prestation dans The station agent (primé au Festival de Sundance) lui vaut une citation en tant que Meilleur Acteur à l'Independent Spirit Awards de 2003. Entre-temps, on le remarque dans Human nature, de Michel Gondry, et dans 13 moons, d'Alexandre Rockwell. En 2005, il est cité par la Drama League parmi les meilleurs acteurs new-yorkais pour sa performance dans le rôle-titre de Richard III, de Shakespeare, au Public Theater. Il enregistre également New Ear, une dramatique radio de Charlie Kaufman (le scénariste de Dans la peau de John Malkovich) avec Meryl Streep et Hope Davis.
Il joue entre autres dans The Baxter (2005) de Michael Showalter, et Lassie de Charles Sturridge (2005), où il a Peter O'Toole et Samantha Morton pour partenaires, et il enchaine avec Mendel's Dwarf, de Simon Mawer, produit par Barbra Streisand. En 2006, il tourne Jugez-moi coupable de Sydney Lumet, puis joue dans Joyeuses funérailles et Pénélope de Mark Palansky en 2008. La même année, il est à l'affiche du 2ème épisode des Chroniques de Narnia.