Oliver empezó en el teatro cuando estudiaba en Oxford., pero no se hizo profesional hasta 1967, fecha en la que empezó a hacer papeles protagonistas en el West End de Londres en obras como The School for Scandal o Long DayŽs Journey into Night.

Entre sus créditos encontramos Su Majestad Mrs Brown, Titanic Town, Máscara de Papel, Defense of the Realm y Escándalo (El Caso de Christine Keeler). También destacan Gladiatress y Johnny English.