Nació en Boston y se formó con profesores tan ilustres como Leonard Nimoy y Jeff Corey. Lleva en Hollywood desde 1963 y comenzó su carrera en televisión a finales de los sesenta. Entonces, Rocco dio con un papel a su medida: personajes astutos y amenazadores, en películas rodadas en grandes ciudades. En la década de los setenta interpretó con gran habilidad al líder de la mafia de Las Vegas, Moe Green, al que disparan en un ojo durante la violenta "escena del bautizo" de El Padrino.

Alternando papeles de matones y detectives, Rocco causó una buena impresión cuando se decantó por la comedia televisiva y ganó un Emmy a finales de los ochenta por "The Famous Teddy Z". Otras de las series en las que ha participado como "Sibs" o "The George Carlin Show" dan cuerpo a sus más de 400 apariciones televisivas hasta el momento. Es un personaje habitual de "Los Simpson" y "The Facts of Life" (interpretando al padre de Nancy McKeon) y últimamente aparece en "The Practice", "Tocada por un ángel", "Dame un respiro" y "Sabrina, cosas de brujas".

Rocco ha actuado a las órdenes de su hijo, el guionista y director, Marc Rocco en Una buena chica y Dream a Little Dream. Otras películas en las que ha participado son El confidente, Una extraña pareja de polis, Profesión: el especialista, El misterio de la dama blanca, Cómo conquistar Hollywood, Loco por Amanda y Planes de boda. También prestó su voz para un papel en Bichos.