Duffy nació y pasó sus años de niñez en la costa norte de Gales, en la comunidad de Nefyn, un lugar muy remoto como para dejarte llevar por guerras de estilo o de facciones musicales opuestas (la tienda de discos más cercana requería coger un autobús y sólo tenía un expositor con los productos Top 40). La educación que describe es aquella en que cada uno tiene ayudar a sus semejantes, aprendiendo al equivocarse, aceptando a los demás y respetando sus gustos sin prejuicios.
Al no tener su propia colección de discos, su primer recuerdo musical es entrando en la cocina de su casa de forma inesperada para encontrarse a su madre y a su padrastro bailando al son de Rod Stewart. Los primeros pasos que dio para definir su identidad personal llegaron cuando le pidió a su padre que le prestara una de sus cintas de VHS del programa de TV de los 60 "Ready, Steady, Go!". "Actuaban the Beatles, the Stones, the Walker Brothers, Sandie Shaw y Millie cantando 'My Boy Lollipop'. !Tan sexy y emocionante! La puse tantas veces que se acabó desintegrando".
El productor de su disco debut, Rockferry (2008), y guitarrista de Suede, Bernard Butler, dice de su total falta de conocimientos sobre el mundillo artístico, "Duffy consiguió crecer sin conocer el concepto de lo que estaba de moda o era actual, de lo que debería gustarle o no, de cómo comportarse o incluso de cómo cantar. Para ella ir a Londres era como un cuento de hadas". Continúa: "¿Y venir aquí a componer canciones con un tipo desconocido que le habían recomendado, es decir, yo? Eso le suponía coger dos autobuses y dos trenes, le tomaba todo el día. Después tenía que hacer lo mismo de vuelta a casa, mientras le enseñaba la música que había hecho a señoras de edad avanzada que conocía durante el trayecto. Es harto difícil para el tipo de persona cínico de la industria discográfica asumir lo lejana que ella se encontraba de nuestro mundo, no sólo físicamente sino en todos los sentidos. Lo que resulta es una persona que se comporta y canta guiándose de forma instintiva con el corazón. Esto es algo mágico y excepcional".
Butler conoció a Duffy a través de Jeannette Lee del sello Rough Trade, quien en Agosto de 2004, y tras haber escuchado maquetas grabadas en casas de amigos, se convirtió en mentora y manager de la cantante. Para Duffy, tener no sólo una amiga, sino también un punto de referencia y la sensación de seguridad, fueron cruciales para su desarrollo personal y musical al encontrarse en un mundo totalmente ajeno y extraño.
"La gente insiste en decirme: 'Has hecho un gran disco'. Pero yo no puedo admitir ese comentario, no lo hice sola. Jeannette y yo hicimos Rockferry juntas, ella ha estado junto a mí en cada paso del camino, abriendo mis horizontes, presentándome a personas en las que puedo confiar". Butler es una de ellas: tras escribir el delicioso tema, Rockferry juntos, al principio del proyecto, (es una canción sin coros, aunque totalmente hipnótica), trabajaron después en tres temas más, de los diez que se incluyen en el álbum. Jimmy Hogarth & Steve Booker son los otros colaboradores de este álbum.