James Edmund Caan nasce a New York, il 26 marzo 1939, nel Bronx.
Fin da ragazzo dimostra di essere un ottimo atleta: mentre studia economia, gioca a football, conquista la cintura nera nel karate e frequenta regolarmente i tornei di rodeo. Si iscrive all’Università per continuare gli studi, ma quando conosce l’arte della recitazione se ne innamora, e lascia gli studi. Caan dimostra subito un talento naturale che lo aiuta ad entrare in diverse compagnie teatrali.