Née de parents hongrois juifs passionnés d'art dans sa Budapest natale (sa mère était peintre), l'artiste de petite taille (1,50 m) Elisa Gallay a commencé sa carrière musicale comme pianiste à sept ans. Ses talents ont été remarqués très tôt et à neuf ans, elle avait déjà été acceptée à l'Académie de musique Liszt Ferencz (Franz Liszt), où elle a étudié de 1930 à 1943. Elle a également suivi des cours de danse et de piano au studio de ballet du Théâtre royal de l'opéra et à l'Académie royale hongroise de musique.