Es más conocido por sus papeles como protagonista en dos series de televisión sumamente populares: "The Andy Griffith Show" y "Matlock". En los años cincuenta, Griffith tuvo un papel fijo en "The Ed Sullivan Show" y "The Steve Allen Show". Actuó en la obra de Broadway "No Time for Sergeants" (1955) por la que resultó nominado a los Premios Tony®, para intervenir posteriormente en su versión cinematográfica. Debutó en el cine en la profética y provocadora UN ROSTRO EN LA MULTITUD (1957).

En "The Andy Griffith Show" (1960), Griffith daba vida a un popular sheriff de una pequeña ciudad que hace gala de una notable sabiduría. El programa fue una de las series televisivas más populares de la historia de este medio. Dio lugar a exitosos spin-offs (series nacidas a partir de la misma), y hoy en día todavía se emite periódicamente.

Griffith creó su propia compañía de producción en 1972, con la que ha producido varias películas y series de televisión. En 1981, fue nominado a un Premio Emmy® por su interpretación de Ash Robinson en "Murder in Texas" (1981).

En 1986 Griffith produjo y protagonizó la muy exitosa serie de televisión "Matlock" (1986). El programa dio lugar también a varias películas televisivas.

Griffith se licenció en Música en la Facultad de Chapel Hill de la Universidad de Carolina del Norte.