Né dans une ferme d’Amberg, en Bavière, Josef Bierbichler est élève dans un pensionnat religieux. C’est dans ce cadre pourtant austère qu’il découvre le théâtre et s'épanouit sur scène. Malgré cette passion naissante, il n'envisage de devenir acteur qu'à l'âge de 23 ans, après s'être longuement produit dans une troupe provinciale ; il intègre alors l’école d’art dramatique d’Otto Falckenberg. Découvert par Pamela Wedeling et Rudolf Noelthe il devient alors un acteur de théâtre particulièrement respecté.
Au milieu des années 70, il fait la connaissance du dramaturge et metteur en scène Herbert Achternbusch. Il tourne alors plusieurs films, comme Atlantikschwimmer (1975), Bierkampf (1977) et Servus Bayern (1977). Ses performances théâtrales associées à sa faculté à se glisser aisément dans le moule du cinéma lui permettent dès lors de collaborer avec la crème des cinéastes allemands comme Werner Herzog (Woyzeck en 1979), Michael Haneke (Code Inconnu en 2000), Jan Schütte (Le dernier été de Brecht) ou encore Tom Tykwer (Les Rêveurs).
Respecté comme un des comédiens les plus rigoureux de sa génération, il est honoré par le magazine "Theater Heute" à deux reprises en 1985 et 1996. Plus en retrait depuis le début des années 2000, il continue à apparaître au cinéma dans des seconds rôles savoureux (Bienvenue à Cadavres-les-bains) ou plus durs (Le Ruban blanc)
