En tant qu'acteur, Josh est surtout connu pour son interprétation révolutionnaire du soldat Roger Horn dans la série télévisée acclamée de CBS Tour of Duty. Josh est né et a grandi dans le New Jersey, dans la ville de West Orange. Il a commencé sa formation professionnelle auprès de la lauréate de l'Academy Award Olympia Dukakis, puis a obtenu sa licence en histoire et art dramatique du Sarah Lawrence College. Il a ensuite joué dans plusieurs téléfilms et films. Le romancier Paul Auster est son cousin.