Nació en Glasgow (Escocia) y se matriculó en clases de interpretación en el Centro de las Artes de Glasgow después de haber leído "El Crisol", de Arthur Miller.
Después de debutar en la pantalla en el papel de Big Woodsy en "Silent Scream" (1990), Carlyle intervino en varias películas, pero fue su actuación en el papel que daba título a la serie de televisión "Hamish Macbeth" (1995) lo que atrajo la atención del público británico. Y fue el papel de Begbie in "Trainspotting" (1996) lo que le sirvió de carta de presentación ante el público americano. Su siguiente trabajo fue el papel de Gaz en "Full Monty" (1997), por el que ganó un premio BAFTA.
Después de haber dado vida a Plunkett en "Plunkett y Macleane", y al coronel Ives en "Ravenous" (ambas películas son de 1999), encarnó al villano Renard en la aventura de James Bond "El Mundo Nunca es Suficiente" (1999), al que siguieron los papeles de Malachy en "Las Cenizas de Ángela" y Daffy in "La Playa" (ambas de 1999).
En fecha más reciente, se le ha podido ver en "Theres Only One Jimmy Grimble" (2000), "To End All Wars," "The 51st State" (las dos de 2001), "Once Upon a Time in the Midlands," "Black and White" (ambas realizadas en 2002), "Dead Fish" (2004), "Marilyn Hotchkiss Ballroom Dancing and Charm School" y "The Mighty Celt" (las dos de 2005).
Sus recientes trabajos en televisión han sido el papel principal de "Hitler: The Rise of Evil" (2003) y el del rey Jacobo I en "Gunpowder, Treason and Plot" (2004). Interpretó el papel de Sergei Karpovich en la miniserie de televisión "Human Trafficking" (2005).
Carlyle fundó la compañía teatral Raindog en 1991 junto a otros cuatro actores, y es socio de la productora cinematográfica británica 4 Ways. En la Lista de Honores de Año Nuevo de 1999 le fue concedida la Orden del Imperio Británico.