El Secreto de Joe Gould es la historia real de dos hombres, uno de los cuales explica la historia del otro: el famoso escritor del The New Yorker, Joseph Mitchell y el bohemio de Nueva York, Joe Gould.

Era una época donde los artistas y los escritos se reunían a menudo en una área de la ciudad conocida como Greenwich Village, y una época en la que Joseph Mitchell (Stanley Tucci) estaba publicando algunos de sus mejores trabajos. Un día, el escritor de voz suave, conoce a Joe Gould (Ian Holm). Nacido en el norte y educado en Harvard, el andrajoso Gould es un erudito de las calles de Nueva York. El trabajo de su vida es la "Historia Oral de Nuestro Tiempo", una transcripción de centenares de conversaciones, comentarios, y ensayos sobre lo que ha visto y oído.

"Cada día", escribe Mitchell en The New Yorker, "incluso cuando sufre una intensa resaca o incluso cuando está débil y apático por el hambre, Joe Gould escribe en libretas escolares." Sin trabajo, Gould depende de las contribuciones de sus amigos y admiradores a la "Fundación Joe Gould".

Después de que la historia de Mitchell apareciera publicada en The New Yorker, Gould se conviertió en una pequeña celebridad. A medida que va cambiando la dinámica entre los dos hombres, su relación consumirá a Mitchell durante años - ya que se convertirá en el guardián del secreto de Joe Gould.