Petty no tenía aspiraciones musicales hasta que Elvis Presley visitó su ciudad natal. Tras trabajar con sus primeros grupos The Sundowners, The Epics y Mudcrutch (que incluían a Mike Campbell y Benmont Tench, futuros miembros de los Heartbreakers), comenzó su carrera discográfico como Tom Petty & the Heartbreakers con un álbum titulado como la banda y publicado en 1976. El álbum tardó un año en tener éxito en su país natal. En 1977, la canción "Breakdown" fue relanzada en las radios y se convirtió en un éxito del Top 40 después de que se supiese que la banda estaba siendo muy bien recibida en Inglaterra.

Su segundo álbum, You're Gonna Get It! (1978) demostró que la intensidad del primer disco no era casual. Se convirtió en el primer disco de oro de la banda en Estados Unidos y contenía sencillos como "Listen To Her Heart" y "I Need To Know". No mucho después de su lanzamiento, la banda tuvo un litigio cuando ABC Records, la compañía matriz de Shelter, fue vendida a MCA Records. Petty se negó a ser simplemente transferido a otra compañía sin su consetimiento. Se atuvo a sus principios durante nueve meses que al final le llevaron a la bancarrota.

Tras resolverse la disputa, Tom Petty & the Heartbreakers lanzaron su tercer álbum, Damn the Torpedoes (1979), que con el sencillo «Refugee» se convirtió rápidamente en triple platino en Estados Unidos. A este disco le siguió Hard Promises (1981), que no tuvo gran éxito comercial pero recibió buenas críticas.

En su quinto álbum, Long After Dark (1982), el bajista Ron Blair fue reemplazado por Howie Epstein, con lo que se completó la formación final de The Heartbreakers. Sin embargo, Tom Petty tenía problemas para manejar el estrés y el éxito, así que decidió reducir el ritmo de trabajo.

En su disco de regreso, Southern Accents (1985), Tom Petty & The Heartbreakers volvieron donde lo habían dejado. El disco tuvo sus problemas: Petty, en un momento de frustración del proceso de mezclas, pegó un puñetazo a la pared y rompió su mano izquierda. El álbum incluía el exitoso sencillo «Don't Come Around Here No More», producido por Dave Stewart.

De la exitosa gira de conciertos que siguió al disco nació el álbum en directo Pack Up The Plantation-Live! (1985). Las capacidades de la banda en directo fueron puestas a prueba cuando Bob Dylan invitó a Tom Petty & the Heartbreakers a unirse a él en su gira True Confessions por los Estados Unidos, Australia, Japón (1986) y Europa (1987).

También en 1987, el grupo lanzó Let Me Up (I've Had Enough), un disco de estudio hecho para sonar como un disco en directo con una técnica tomada de Bob Dylan. Incluye «Jammin' Me», escrita por Petty y Dylan.

Petty también apareció en varios episodios de It's Garry Shandling's Show (1987 - 1990), haciendo de sí mismo como uno de los vecinos de Garry Shandling.

En 1989, Petty lanzó Full Moon Fever. Aunque nominalmente era un proyecto en solitario, otros miembros de Heartbreakers y algunos músicos muy conocidos participaron en la grabación. Mike Campbell coprodujo el disco con Petty y Jeff Lynne (de la Electric Light Orchestra). Estuvo entre los diez primeros de la lista de Billboard durante más de 34 semanas y consiguió llegar al triple platino, con éxitos como «I Won't Back Down», «Free Fallin'» y «Runnin' Down A Dream».

Antes de Full Moon Fever, Lynne y Petty habían trabajado juntos en la banda de estrellas Traveling Wilburys, que también contaba con Bob Dylan, George Harrison y Roy Orbison. Traveling Wilburys comenzaron como una broma para grabar una cara B de un sencillo de George Harrison, pero la canción «Handle With Care» tuvo tanto éxito que el grupo decidió grabar un disco completo, Traveling Wilburys Vol. 1 (1988). La repentina muerte de Roy Orbison ensombreció el éxito y poco tiempo después Del Shannon, en quien el resto de los Wilburys pensaban como reemplazo, se suicidó. Se lanzó un segundo disco de los Wilburys, llamado misteriosamente Traveling Wilburys Vol. 3 (1990), pero no estuvo a la altura de las expectativas.

Petty se volvió a juntar con los Heartbreakers para su siguiente álbum, Into the Great Wide Open (1991). Producido de nuevo por Jeff Lynne, incluye los exitos sencillos «Learning To Fly» y «Into The Great Wide Open».

En 1994, Petty lanzó su segundo disco en solitario, Wildflowers, que también tuvo canciones de éxito como «You Don't Know How It Feels», «You Wreck Me», «It's Good to Be King», «A Higher Place» y «Honey Bee».

Petty ha recibido 10 nominaciones a los Premios Grammy desde 1981. Ese año recibió su primera nominación por su colaboración con Stevie Nicks, «Stop Draggin' My Heart Around», en la categoría de Mejor actuación de rock realizada por un dúo o grupo con voz. Petty consiguió un permio Grammy en 1989 en la misma categoría por su trabajo con los Traveling Wilburys. En 1994 recibió otros dos premiso Grammy: Mejor interpretación vocal masculina (por «You Don't Know How It Feels») y Álbum mejor producido (no clásica). Wildflowers también obtuvo una nominación a los Grammy como Mejor álbum de rock.

Otros premios conseguidos por Wildflowers incluyen el Premio al mejor vídeo masculino por «You Don't Know How It Feels», otorgado en 1995 por la MTV. Tom Petty & The Heartbreakers ganaron el mismo premio en 1994 con el vídeo «Mary Jane's Last Dance». En la ceremonia de 1994, también se le otorgó a Petty el Premio a vídeo de vanguardia, citando sus contribuciones al campo a lo largo de mucho tiempo.

Como compositor de canciones, Tom Petty recibió en mayo de 1996 el prestigioso Golden Note Award de ASCAP. En abril de 1996, Petty recibió el premio George And Ira Gershwin Award For Lifetime Musical Achievement de la UCLA. En 2002 el grupo entró en el Rock and Roll Hall of Fame.

En 1999 Tom Petty & the Heartbreakers recibieron una estrella en el Paseo de la Fama de Hollywood, en 7018 Hollywood Blvd., un honor que reconoce tanto sus logros musicales como su entrega humanitaria con organizaciones como Greenpeace, la National Veteran's Foundation, USA Harvest, Rock And Wrap It Up y AmFAR (American Foundation for AIDS Research).

En 2002 Petty apareció en Los Simpsons, en el episodio "What I Did In My Strummer Vacation". También ha puesto la voz al personaje Lucky in King of the Hill.

En 2005, Tom Petty comenzó su propio programa "Buried Treasure" en XM Radio. En el programa, Petty comparte selecciones de su colección de discos personal.

En 2006 publica nuevo disco de estudio: Highway Companion.