Mako est né à Kobe, au Japon, fils du célèbre auteur et illustrateur de livres pour enfants Taro Yashima. Ses parents ont déménagé aux États-Unis quand il était petit. Il les a rejoints après la Seconde Guerre mondiale, en 1949, et s'est engagé dans l'armée dans les années 1950. Il est devenu citoyen américain naturalisé en 1956. À son arrivée aux États-Unis auprès de ses parents, Mako a d'abord étudié l'architecture. Pendant son service militaire, il a découvert son talent pour le théâtre et s'est formé au Pasadena Community Playhouse. Mako était marié à l'actrice Shizuko Hoshi, avec laquelle il a eu deux filles, toutes deux actrices, et trois petits-enfants.