James Smith se formó en LAMDA donde obtuvo el premio Spotlight y el Shakespeare Cup.

Empezó en el teatro y gracias a ello fue invitado a formar la primera compañía en el The Crucible Theatre Sheffield en 1971, convirtiéndose en el primer actor que pisó aquel escenario. En 1973, Smith fue el último actor al que Laurence Olivier fichó y se unió al National Theatre en The Old Vic. Se quedó una temporada más bajo el mando de Peter Hall y en 1975 se convirtió en miembro fundador de Shared Experience, participando de la creación de su primer éxito An Arabian Night. Volvió a unirse a la compañía en 1977 interpretando papeles importantes en una gira nacional de Casa desolada de Charles Dickens, culminando en una temporada en el The Royal Court.

Sus posteriores trabajos en el teatro incluyen temporadas en The Haymarket Leicester, The Orange Tree, The Bush, The Young Vic y The Royal Court. También ha sido integrante de la compañía The Royal Shakespeare, The Royal Exchange Theatre Manchester y volvería en más ocasiones al National Theatre, más recientemente en 2003 con A Electra le sienta bien el luto.

Su extenso trabajo en televisión incluye "Ego Hugo", "Casualty", "Heartbeat", "Kavanagh QC", "Lovejoy", "Policía de barrio", "Inspector Morse", "Rosemary & Thyme" y "Testigo mudo". Quizás es más conocido por su trabajo como el veterano asesor Gleen Gullen en "The Thick of It" y como Clive en "Grandma’s House". También interpretó a Trevor en "Boomers".

Entre sus películas encontramos VERY LIKE A WHALE, EL AGENTE DE LA CONDICIONAL, MAGICIANS, IN THE LOOP y LA DAMA DE HIERRO.