Grandy est né à Sioux City, dans l'Iowa, le plus jeune de trois fils de William Grandy, qui travaillait dans l'entreprise d'assurances de son père, et de sa femme Bonnie. Quand Grandy avait onze ans, son père est mort d'une crise cardiaque. Sa mère est décédée d'un anévrisme un an plus tard.
Le jeune Grandy a été élevé par Margaret Avery, la meilleure amie de sa mère (une veuve qui a épousé par la suite le médecin de son père). Il a fréquenté les écoles publiques jusqu'à la neuvième année, puis il a poursuivi ses études secondaires à la Phillips Exeter Academy à Exeter, dans le New Hampshire, comme l'avaient fait son père et ses frères.
À Exeter, Grandy était le camarade de chambre de David Eisenhower, le petit-fils du président Dwight D. Eisenhower, et a plus tard été témoin au mariage d'Eisenhower avec Julie Nixon, la fille du président élu Richard Nixon, en décembre 1968.
Grandy a obtenu son diplôme de premier cycle en littérature anglaise summa cum laude de l'université Harvard en 1970. En 1971, il a rejoint un groupe d'improvisation à Harvard appelé « The Proposition » et a participé à nouveau au spectacle quand celui-ci s'est produit off-Broadway en 1971. Parmi ses camarades de scène figurait la future star de Saturday Night Live Jane Curtin.
Bien qu'en âge de faire son service, Grandy avait un numéro de loterie élevé et n'a pas été appelé pour le Vietnam.
