James Armando Fitzpatrick est né à Omaha, au Nebraska, mais il est retourné à Clearwater Beach, en Floride, à l'âge de trois mois, d'où sont originaires ses parents (Jim Sr. et Cookie). Il a commencé sa carrière d'acteur sur scène très jeune, à treize ans, en jouant dans sa première pièce de théâtre scolaire, « A Thousand Clowns », au lycée Seminole en Floride. Jim a accepté une bourse de football à l'Université d'État de l'Illinois en tant que spécialiste de théâtre, où il s'est impliqué auprès de la Steppenwolf Theatre Company, fondée par Gary Sinise et John Malkovich. Il a mis de côté sa carrière d'acteur pour jouer au football professionnel, commençant en 1981 avec les Tiger Cats de Hamilton dans la LCF (Ligue canadienne de football), suivi de brefs passages avec les Bears de Chicago en 1982 et les Colts de Baltimore en 1982. Sa carrière footballistique s'est terminée quand il a pris sa retraite en 1985, après avoir passé trois saisons avec les Tampa Bay Bandits dans l'USFL de 1983 à 1985.