Ha sido premiado en numerosas ocasiones y aclamado por la crítica, durante las seis décadas de su carrera como actor, por las numerosas películas y obras de teatro en las que ha intervenido.
Apareció por primera vez en un escenario a la edad de 15 años en una producción de aficionados. Después de graduarse en la Universidad de Tejas en Austin y de estudiar en el City College de Nueva York, obtuvo una beca para la Neighborhood Playhouse de esta ciudad. Se licenció en 1940 y obtuvo varios papeles pequeños antes de alistarse en el ejército en 1941.
Al final de la II Guerra Mundial, volvió a los escenarios y debutó en Broadway con la obra "Skydrift" en 1945. El año siguiente trabajó en una producción del Equity Library Theater, "This Property Is Condemned".
Fue uno de los primeros miembros del Actors Studio. Trabajó durante dos años en el American Repertory Theater de Eva LaGallienne antes de obtener el papel protagonista en "La rosa tatuada" (1951), de Tennessee Williams, por la que ganó un Tony, y en "Camino Real" (1952). Durante los años cincuenta se convirtió en uno de los actores teatrales más respetados debido a su enorme versatilidad.
Ya a finales de los cuarenta obtuvo pequeños papeles en televisión.
En la gran pantalla se dio a conocer con Baby Doll (1956), la controvertida adaptación fílmica del cuento de Tennessee Williams. Ha interpretado numerosos personajes de mucho carácter, desde el bandido mexicano en Los siete magníficos (1960), de John Sturges, hasta el amigo de Clark Gable en Vidas rebeldes (1961). Poco a poco pasó a papeles más tranquilos, como el de psiquiatra en Loca (1987), con Barbra Streisand, pero no rechazaba papeles de malo, como el asesino miope en Otra ciudad, otra ley (1986) y el mafioso Don Altobello en El padrino, parte III (1990). Otras películas suyas son Lord Jim, La bahía de las esmeraldas, Cómo robar un millón y..., El cerebro, Abismo, Permiso para matar hasta medianoche, Movie Movie, Cazador a sueldo, Las amigas/Girlfriends, El hijo de Sam, The Two Jakes, Paro Clínico, Gente de Sunset Boulevard, y La noche y la ciudad.
Durante los noventa prestó su voz como narrador en numerosas series además de trabajar en Cómo triunfar en Wall Street (En un par de horas) (1996), y en Más que amigos (2000), la primera película que dirigió Edward Norton.
Entre sus películas más recientes están Mystic River (2003), de su gran amigo Clint Eastwood, The Hoax (2006), con Richard Gere y Alfred Molina, y Mamas Boy (2006), con Diane Keaton y Jon Heder. Pronto podremos verle en un episodio de la innovadora serie "Studio 60" en un papel escrito especialmente para él por Aaron Sorkin.