Nació y se crió en el condado de Limestone, Texas. Después de graduarse en el North Texas State College, se trasladó a Nueva York para dedicarse a la carrera de actor. Intervino en dos producciones de Broadway. Su primer papel en una película fue en La leyenda del indomable, protagonizada por Paul Newman, interpretando a continuación al hermano de Steve McQueen en El rey del rodeo.

Baker creó el papel de Buford Pusser en Pisando fuerte. Entre sus numerosos trabajos en el cine figuran tres películas de James Bond: El mañana nunca muere, Golden Eye y 007: Alta tensión. Interpretó el papel de Babe Ruth en El mejor y el del detective privado en El cabo del miedo de Martin Scorsese. También intervino en Charlie Varrick de Don Siegel.

En televisión intervino en la miniserie británica Edge of Darkness, por la que fue nominado a los premios BAFTA. Consiguió una nominación a los premios Ace por la película de la HBO Wallace e interpretó el papel del senador Joe McCarthy en Citizen Cohn.