James Caan nació en 1940 en el Bronx, Nueva York, Estados Unidos.
Sus padres, Arthur, carnicero, y Sophie, eran inmigrantes judíos de Alemania.
Creció en Queens y se educó en PS 150 Christopher Street School, luego en Rhodes Preparatory School y finalmente asistió a la Universidad de Michigan, en donde estudió ciencias económicas. Jugó al football mientras estaba en la universidad y fue luego transferido a la Universidad Hofstra, aunque finalmente no se graduó en Economía, pues mientras estaba en Hofstra, se despertó su interés por la actuación, por lo que mas tarde se graduó de la Neighborhood Playhouse School of Theatre.
Su carrera comenzó actuando en televisión, en series como “Route 66”(1961), “Naked City”(1961), “The Intouchables”(1962), “Kraft Suspense Theatre”(1963), “Combat”(1963), “Ben Casey”(1963), “Dr, Kildare”(1963) y “The Alfred Hitchcock Hour”(1964).
Su primer rol en una película de cine fue el de un villano punk en el thriller “Una Mujer Atrapada”(1964).
En 1967, James apareció en “El Dorado” con John Wayne y en 1969, se inició su ascenso a la fama por su personaje de jugador de football con lesión cerebral, en “Llueve sobre el corazón”, dirigida por Francis Ford Coppola y con Robert Duvall.
En 1971, se hizo mas conocido por su papel del jugador Brian Piccolo en la película para televisión “Brian´s Song”, que más tarde seria lanzada al cine.
En 1972, fue nuevamente elegido por Coppola para interpretar el rol de Sonny Corleone, en la multipremiada “El Padrino”, protagonizada por Al Pacino, Marlon Brando y Diane Keaton. Por este papel, fue nominado a un premio Oscar.
Fue por ese tiempo que desarrolló su amistado con Carmine Junior Persico, uno de los altos jefes de la Familia criminal Colombo. Para ese entonces, sería fotografiado con él en varias oportunidades y, al no haberse estrenado todavía "El Padrino", sería confundido como uno más del clan.
Desde 1973 hasta 1982 apareció en varias producciones como “The Gambler” (1974) con James Woods, “El Padrino, parte II” (1974), “Funny Lady” (1975) junto a Barbra Streisand, “Los aristócratas del Crimen” (1975), “Un puente lejano” (1977) con Michael Caine, Anthony Hopkins y Sean Connery, “Llega un jinete salvaje y libre” (1978) con Jane Fonda y “Capitulo dos” (1979).
En 1980, James dirigió “Hide in plain High”, acerca de un padre que busca a su familia desaparecida.
Al año siguiente, hizo "Ladron" (1981) con James Belushi, y dirigida por Michael Mann. Caan ha dicho que el rol que interpretó en esta película, junto al interpretado en “El Padrino, es uno de los que más lo han enorgullecido en su carrera.
Desde 1982 hasta 1987, sufrió de depresión por la muerte de su hermana y se vio inmerso en la cocaína, producto de lo que él llamo, el burnout de Hollywood. Por estas razones, no realizó ninguna película.
Volvió al cine, nuevamente de la mano del director Francis Ford Coppola, que lo seleccionó para su película “Jardines de piedra”(1987), junto a Anjelica Huston y Laurence Fishburne.
Protagonizó “Alien Nation” (1989), “Dick Tracy”(1990) con Warren Beatty y la conocida “Misery”(1990), coprotagonizada por Kathy Bates, quien ganó el Oscar a mejor actriz por este personaje.
En 1992, fue el actor principal de “Luna de miel para tres” con Sarah Jessica Parker, Nicolas Cage y Pat Morita.
En 1996, participóde “Ladrón que roba a otro Ladrón”, junto a Owen Wilson y Luke Wilson.
A ésta le siguieron “Mickey ojos azules”(1999) con Hugh Grant; “La otra cara del crimen” (2000) protagonizada por Mark Wahlberg, Charlize Theron y Joaquin Phoenix, "La ciudad de los fantasmas” (2002) con Gerard Depardieu, Rose Byrne y Matt Dillon; y "Dogville” (2003) con Nicole Kidman y Paul Bettany.
Entre el 2003 y el 2007, protagonizó la serie “Las Vegas”, en el papel de Ed Deline.
Entre sus últimos trabajos están los largometrajes “New York, I Love You”, con un gran elenco formado por Christina Ricci, Hayden Christensen, Natalie Portman y Orlando Bloom, Kevin Bacon, Ethan Hawke y Robin Wright; “Get Smart”, el largometraje basado en el famoso personaje del Maxwell Smart, protagonizada por Steve Carell y Anne Hathaway; y también ha prestado su voz para el personaje de Tim Lockwood, en "Lluvia de albóndigas" (2009).
En su vida privada, James ha estado casado cuatro veces. En 1960, se casó con Dee Jay Mathis, de la que se divorció en 1966. Ambos tuvieron una hija llamada Tara.
Su segundo matrimonio fue con Sheila Ryan, ex novia del famoso Elvis Presley, entre 1976 y 1977. La pareja tuvo un hijo, llamado Scott.
Desde septiembre de 1990 hasta marzo de 1995, estuvo casado con Ingrid Hajek, con quien tuvo su tercer hijo, Alexander James.
Finalmente se casó con Linda Stokes en octubre de 1996 y tuvo dos hijos más: James Arthur y Jacob Nicholas.
James ha practicado karate por casi 30 años, e incluso llegó a entrenar al cuerpo policial de Culver City. También es golfista y tiene un handicap de 8.