Grégory est né à Paris, France, en 1934 de parents russes juifs. Il a étudié à l'Université Harvard, où il était affilié à Adams House.
Au cours des années 1960 et 1970, Grégory a dirigé un certain nombre de productions d'avant-garde développées par collaboration entre les acteurs, la plus célèbre étant Alice au pays des merveilles (1970), basée sur les deux classiques livres d'Alice de Lewis Carroll. Il a fondé sa propre compagnie théâtrale, The Manhattan Project, en 1968. En 1975, il a dirigé Our Late Night, la première pièce produite de Wallace Shawn, ce qui a marqué le début d'une longue collaboration entre les deux hommes.
Peu après, les doutes croissants de Grégory quant au rôle du théâtre dans la vie moderne, et ce qu'il percevait comme une tendance au fascisme aux États-Unis, l'ont amené à abandonner brutalement le théâtre et à quitter le pays. Comme le décrit le film Mon dîner avec André (1981), il s'est rendu en Pologne à l'invitation du metteur en scène Jerzy Grotowski, où il a développé un certain nombre d'événements théâtraux expérimentaux pour des audiences privées. Il a passé plusieurs années dans diverses communautés spirituelles ésotériques (comme Findhorn) développant un intérêt et une pratique de ce qu'on pourrait appeler les croyances du Nouvel Âge.
Bien que Grégory ait quitté le théâtre en 1975, il y est revenu plusieurs fois pour diriger de petites productions, généralement pour des audiences invitées. Celles-ci incluaient un atelier de longue durée d'Oncle Vania (adapté par David Mamet), qui a été développé de 1990 à 1994 et mettait en vedette Shawn et Julianne Moore. Bien que jamais joué publiquement, il a été présenté comme le film Vanya sur la 42e Rue par Grégory et Louis Malle. Il y apparaît en tant que lui-même, dirigeant la pièce présentée dans le film. Grégory a également dirigé une production radiophonique de la pièce de Shawn, The Designated Mourner, en 2002.
Il a eu occasionnellement des rôles au cinéma en tant qu'acteur de second plan, notamment Jean-Baptiste dans La Dernière Tentation du Christ et Révérend Spellgood dans La Côte aux moustiques, et en tant que Dante, un restaurateur, aux côtés de Rosanna Arquette, David Bowie et Buck Henry dans The Linguini Incident.
Sa performance cinématographique la plus célèbre a été celle du personnage titre dans Mon dîner avec André (1981), réalisé par Louis Malle, dans lequel lui et Wallace Shawn, jouant des personnages inspirés d'eux-mêmes, ont une longue conversation autour d'un dîner. Ils discutent du séjour spirituel de Grégory en Europe et de ses doutes concernant l'avenir du théâtre et de la civilisation occidentale en général.
Il a joué aux côtés de Goldie Hawn dans Protocol (1984). En 1988, il a joué le père dans Some Girls, avec Jennifer Connelly et Patrick Dempsey. En 1993, il a joué dans le film Démolition Man avec Sylvester Stallone.
De retour au théâtre, Grégory a dirigé la pièce de Shawn Grasses of a Thousand Colors, qui a eu sa première au Royal Court Theatre à Londres en mai 2009. Il a ensuite travaillé avec Shawn sur une nouvelle version du Maître de Maison d'Ibsen. Cela a abouti au film Fear of Falling (2013), réalisé par Jonathan Demme. Le film a été retitré A Master Builder à sa sortie à New York en juin 2014.
En 2013, il a dirigé Grasses of a Thousand Colors et The Designated Mourner, avec Shawn en tête d'affiche dans une coproduction entre Theatre for a New Audience et The Public Theater à New York.
Un documentaire de 2013 sur la vie de Grégory, Andre Gregory: Before and After Dinner, a été réalisé par sa femme, Cindy Kleine. Lui et Kleine en ont discuté lors de l'épisode du 3 mai 2013 de Charlie Rose.