Williams, nacido en Nueva York, empezó su carrera en una producción de "Dark of the Moon" dirigida por Vinette Carroll. Williams ha aparecido en Broadway en "The Great Outdoors", frente a Geraldine Page. Protagonizó "Slow Dance on the Killing Ground", por la que fue candidato a un Tony y un premio Theatre World. También coprotagonizó con Maggie Smith en Broadway la obra de Tom Stoppard "Noche y día". Ha colaborado frecuentemente con el Festival de Shakespeare de Nueva York de Joseph Papp. Bajo la dirección de Papp, participó en "El rey Juan", en el Delacorte Theatre.

Williams es especialmente conocido por su papel de 'Linc Hayes' en la clásica serie de televisión de culto "Patrulla juvenil".

A lo largo de su carrera cinematográfica, Williams disfrutó de una larga colaboración con el director John Frankenheimer, que empezó con "52 vive o muere", a la que seguirían "Operación Reno" y los telefilmes "Contra el muro" y "George Wallace". También ha aparecido en "La hija del general", "Purple Rain (Lluvia púrpura)" (como padre de Prince), "Sugar Hill", "Medio flipado (Half Baked)", "La cara sucia de la ley", "Hampones", "Condenados a fugarse" y "American Gangster". Entre sus cintas independientes figuran "The Brave", ópera prima de Johnny Depp como director, "Happy Here and Now", de Michael Almereyda, y el drama de época "La leyenda del pianista en el océano", dirigido por Giuseppe Tornatore.