El grupo Fun Lovin' Criminals se formó en 1993, cuando Huey trabajaba en un bar de la zona de Limelight en Nueva York. Fue allí donde conoció a Fast, que también trabajaba en el mismo local. En aquel momento, Fast formaba parte de un grupo tecno llamado Moses On Acid, que él mismo creó junto con el que más tarde sería el primer batería de Fun Lovin' Criminals, Steve-O. Al mismo tiempo, Huey solía pasar mucho tiempo tocando la guitarra al estilo blues, y pronto empezó a componer sus propias canciones junto con Fast. Huey y Fast contrataron a Steve-O como batería, y de ese modo surgió la primera formación de Fun Lovin' Criminals. Los tres compartieron apartamento y acabaron tocando juntos en casa, componiendo sus primeras canciones juntos hasta que crearon suficientes temas para convencer al mánager de la sala Limelight para que les permitiera ofrecer su primera actuación en el local.

En su sexto concierto contaron con la presencia del jefe del departamento de A&R de la compañía EMI America, el cual les dió su tarjeta y les pidió que le llamasen para concertar una cita con él. Poco después, EMI les alquiló un estudio durante dos semanas, aunque el grupo sólo necesitó tres días para terminar su trabajo, dedicando el resto del tiempo a tomar copas y a disfrutar de las mejores comidas hasta que EMI se dió cuenta de las caras aficiones del grupo.

Un año más tarde, EMI publicó el primer álbum del grupo, Come Find Yourself, que incluía los singles The Fun Lovin' Criminal, King of New York y el que sería el primer número 1 del grupo en Inglaterra, Scooby Snacks. The Fun Lovin' Criminal está considerada por el propio grupo el tema que mejor representa el estilo de la banda y su forma de tocar. Formado por una interesante mezcla de acordes de guitarra con ritmos funky, y el sonido de trompetas, armónicas y bajo (todo ello interpretado por Fast), King of New York muestra una imagen del grupo ligeramente más política y comprometida, con frases como "Libertad para John Gotti" y un inspirado rapeo a cargo de Huey.

Después de haber recorrido el mundo entero participando en la gira de Come Find Yourself, el grupo hizo esperar a sus fans durante dos largos años antes de estrenar su nuevo álbum, 100% Colombian, un trabajo que destacó como una evolución musical lógica para el grupo y como un disco mucho más tranquilo aunque manteniendo el espíritu de buen rock en temas como Korean Bodega. Además, Huey está convencido de que Southside se ha convertido en un auténtico himno con ritmo de heavy metal para el grupo. El primer single que se extrajo del álbum fue Love Unlimited, un homenaje al legendario Barry White, el cual ofreció muchos valiosos consejos a Huey sobre todo a la hora de atraer al público femenino con sus canciones. El siguiente single fue Big Night Out, que se cortaba para ofrecer un fragmento de rap, con un sample del tema American Girl de Tom Petty y otra con ritmo de rock, con otro fragmento en medio de la canción procedente del Can't You See, de Marshall Tucker Band.

Entre el momento en que se publicó el single Big Night Out y el estreno del siguiente, Korean Bodega, el batería Steve-O "se volvió un poco loco y se marchó a Perú", tal como confiesa el propio Huey. Fue sustituido por otro batería lleno de talento, Mackie. Éste había actuado por todo el mundo junto a grupos como The Cro-mags, Bad Brains y Charles and Eddie.

Con el lanzamiento de un álbum navideño titulado Mimosa, grabado en parte en la isla de Maui, en Hawai, Fun Lovin' Criminals consiguieron trasladar su estilo y su fuerza a un nuevo nivel. Según afirma Huey, "aquella fua una recopilación que creamos porque necesitábamos ganar un poco de dinero para poder pagar los regalos de Navidad...".

En 2001 el grupo publicó el álbum Loco. El primer tema del disco, Where The Bums Go, estaba pensado para abrir los ojos al público ante la música del grupo y para mostrar a su propia compañía discográfica el verdadero estilo del grupo. Se trataba de un sonido cargado de rock acerca de un lugar de Nueva York donde suelen comer los pobres y los que no tienen recursos económicos suficientes. Desde entonces aquella canción se ha convertido en uno de los temas imprescindibles en todos los conciertos del grupo. El álbum también incluía otros éxitos, como Loco, Bump (en el que participó Jodie Kidd en el papel de "la mejor chica de cuantas han pasado por la vida de Huey", y Run Daddy Run.

La compañía discográfica del grupo, en contra de los deseos de F-L-C, publicó una recopilación de grandes éxitos en 2002 titulada Bag of Hits, que se situó en el puesto número 5 de las listas inglesas. El segundo disco de la recopilación incluía una serie de temas difíciles de encontrar de otra manera, todos ellos procedentes de los primeros diez años de la historia musical del grupo. Antes del lanzamiento de Bag of Hits, F-L-C también publicaron Love Ya Back, un DVD que incluía todos los videoclips promocionales del grupo desde el principio de su carrera hasta el final de Mimosa, así como su primera película, la clásica Maui Homicide 2000 y un gran número de imágenes adicionales.

Después de tres álbumes, un álbum "relajado", un DVD y una recopilación de grandes éxitos, el grupo decidió llevarse su propia compañía discográfica, DiFontaine Records, a otro lugar, concretamente a Sanctuary Records. El acuerdo firmado con Sanctuary dió lugar a la publicación de un nuevo álbum en 2003, Welcome To Poppy's, que incluye como primer single, Too Hot. Para este disco cuentan con un nuevo batería Frank The Rhythm Master, de origen británico, procedente de Leicester.