Née Pamela Ann Clements, ses parents, Ann Tribe et Reginald Clements, se sont mariés en 1940. Peu après la naissance de Clements en 1942, sa mère décéda et elle fut placée en famille d'accueil quand son père se remaria. Clements a grandi dans diverses familles d'accueil jusqu'à ce qu'elle soit accueillie par une famille qui possédait une ferme dans le Devon. Elle a commenté : « J'ai eu beaucoup de chance finalement. On me confiait toujours à des maisons de vacances, puis quand j'ai atteint la préadolescence, je suis allée dans le Devon chez des gens qui étaient très doués pour accueillir les jeunes, et ce qui avait commencé comme un simple arrangement commercial est devenu ma maison. »
Le père de Clements est devenu directeur général d'une fabrique de jouets à Londres et s'est marié cinq fois au cours de sa vie. Clements a été envoyée en pensionnat sur les South Downs, où elle était—selon ses propres dires—« très turbulente ». Elle était active au sein du club de théâtre de son école, mais elle aspirait initialement à devenir vétérinaire. Cependant, cette carrière s'avéra inaccessible car elle n'avait pas réussi le latin à l'école. Elle décida plutôt de devenir enseignante et s'inscrivit au Rolle Teacher Training College à Exmouth (aujourd'hui intégré à l'Université de Plymouth). Elle a exercé le métier d'enseignante jusqu'à ce que son désir de jouer la pousse à suivre une formation d'actrice à la Rose Brufeld College, et elle finit par se lancer professionnellement dans le métier d'actrice. Son nom de scène s'inspirait d'un nom de rue à Islington—St Clement Street—où ses parents résidaient au moment de leur mariage. En juillet 2008, l'Université de Plymouth lui a remis un doctorat honorifique en éducation pour ses services rendus à l'enseignement. Commentant son ancien métier, elle a déclaré qu'elle n'avait pas été une bonne enseignante, si bien que son changement de carrière n'était pas une perte pour la profession.
