Narozen v 27. ledna 1940 v Los Angeles, Kalifornie. Je synem režiséra Johna Cromwella a herečky Kay Johsonové. Vyrostl v New Yorku a chodil do stejné prestižní internátní školy Hill School v Pottstownu jako Oliver Stone a Harry Hamlin. Vystudoval (stejně jako jeho rodiče) Ivy league Carnegie-Melon Institut of Technology. V šedesátých letech byl členem Komitétu na obranu velmi kontroverzních Černých panterů. Je vegan. Za účast v protestech před Wendys ve Virginii ho zavřeli, jenom asi na pět hodin, a má zakázano se ve Virginii ve Wendys i jen ukázat, leda že by se tam šel najíst. Má tři děti s Annou Ulvestadovou, se kterou byl ženat v letech 1976–1986. Rozvádí se s Julií Cobbovou.
James Cromwell začínal v divadle, kde hrál vše, od Shakespeara po experimentální hry. Pak se dostal do televize (v roce 1974 na sebe upozornil v televizním seriálu All in the Family). V televizních seriálech se objevuje dodnes – od hostování v M*A*S*H (1977) až po Prokletí Salemu (2004) a Papeže Jana Pavla II. (2005). Jeho filmovým debutem byl snímek Murder by Death v roce 1976. Pak přišly zase většinou televizní filmy jako The Wall a Frankenheimerův Obchodník s dešťem (oba 1982). Až účinkování v sérii Star Trek (Nová generace, 1987; Hluboký vesmír 9, 1995; První kontakt, 1996; Enterprise, 2001; ve dvou posledních byl kapitánem Cochranem) mu zajistily průnik do významných filmových produkcí.
V letech 1984–1994 se jako pan Skolnik objevil ve všech čtyřech dílech Pomsty šprtů (Revenge of the Nerds). Proslavil ho ale jiný žánr: film o galantním prasátku Babe; v roce 1995 mu přineslo Oskara za roli věrohodného, tichého a rozhodného australského farmáře. Objevil se také v pokračování Babe ve městě. Ve Formanově filmu Lid versus Larry Flynt (1996) hraje vydavatele Charlese Keatinga. Zobrazil Hearsta v televizním filmu o zákulisí Občana Kanea s titulem RKO 281 (1999). Za roli zkorumpovaného, machiavelistického policejního kapitána v LA: Přísně tajné (1997) získal značné uznání kritiků.
Třikrát si zahrál americké prezidenty: fiktivního Fowlera v Nejhorších obavách (2002) a Newmana v seriálu Západní křídlo (2004) a skutečného Lyndona B. Johnsona v televizním filmu RFK (2002). Po boku Toma Hankse zobrazil ředitele věznice v úspěšné Zelené míli (1999). Byl lékařem v Andělích v Americe (2003).
V současném britském filmu Královna (2006) hraje prince Filipa, manžela královny Alžběty. Je lakonický a velmi anglický, jak si to režisér přál, ovšem princ Filip pochází z Řecka. Což není Cromwellova vina.. Prostě mu padnou role starších, důstojných mužů, někdy přívětivých, jako v Dobrodružství mladého Indiana Jonese, jindy zrádných a někdy vysoce postavených. Objevíme ho i ve filmu Spider Man 3 (2007) jakožto hrdinného kapitána Stacyho anebo v dobové romanci Vášeň a cit (2007) coby laskavý tatínek ústřední hrdinky, Jane Austenové samotné.
Cromwell měří dva metry a jeden centimetr, což přináší problémy. Například Blake Edwards na něho jednou neosobně ukázal a otázal se: "Co s tím mám dělat?" Cromwell se dodnes cítí dotčen.
