Nome d'arte di Iain David McGeachy, nasce nel New Malden l'11 settembre del 1948. La sua carriera musicale comincia a diciannove anni, quando nel 1967 firma un contratto con la Island e pubblica nello stesso anno London Conversation, il suo primo album, caratterizzato da uno stile unico, basato su una miscela di blues e folk. A questo primo album segue l'anno dopo The Tumbler, più orientato verso il jazz.
Nel 1970 incide due album in collaborazione con la moglie Beverley Kutner: Stormbringer! e The Road to Ruin. Nel 1973 John Martyn realizza uno dei più importanti album britannici degli anni settanta, Solid Air. La canzone che dà il titolo all'album è un tributo al cantautore Nick Drake, amico e collega, che nel 1974 muore improvvisamente per un'overdose di antidepressivi. In questo album, come in quello precedente (Bless the Weather) Martyn collabora con il bassista jazz Danny Thompson, con il quale instaura una fruttosa collaborazione musicale. In questo album continua a sviluppare un suo stile vocale nuovo, che può essere paragonato al timbro di un sassofono tenore.

 A seguito del successo anche commerciale di Solid Air, Martyn registra nello stesso anno lo sperimentale Inside Out, un album più difficile del precedente, basato su sensazioni ed improvvisazioni sulla struttura della canzone. Del 1977 è l'album One World che alcuni commentatori descrivono Martyn come il "Padre del Trip hop". Una caratteristica di questo album è l'essere stato registrato all'aperto, includendo suoni circostanti, come l'acqua di un lago vicino.
Alla fine degli anni 70 John Martyn divorzia dalla moglie Beverley Kutner. In questo periodo, che lo stesso John Martyn definisce come "un periodo molto scuro della mia vita", registra l'album Grace and Danger (1980). Qualche anno più tardi Martyn citerà questo album come il suo preferito, dicendo che "probabilmente è il più specifico pezzo di autobiografia che io abbia mai scritto. Alcune persone tengono un diario, io faccio dischi". Nel 1981 Martyn lascia l'Island e registra i successivi album Glorious Fool e Well Kept Secret per la WEA, un'etichetta che chiaramente punta a fargli raggiungere il successo commerciale.

Nel 1983 realizza un album dal vivo, Philentropy, mettendo in mostra tutta la sua espressività alla chitarra elettrica. Ritornando alla Island, Martyn registra Sapphire (1984), Piece by piece (1986) e dal vivo Foundation (1987), prima di lasciare di nuovo la Island nel 1988.
Nel 1990 incide The Apprentice e successivamente, nel 1991 Cooltide, per la Permanent Records. Registra di nuovo molti dei suoi classici nella raccolta No Little Boy (1993), dove tra gli ospiti figurano Phil Collins e Andy Sheppard. L'album And (1996) esce per l'etichetta Go!Discs, con forti influenze hip hop, che saranno ancora più evidenti nel successivo Glasgow Walker (2000); The Church With One Bell 1998 è un album di covers, con materiale preso dai Portishead e da Billie Holiday.

Nel luglio del 2006 la BBC trasmette un documentario sul periodo che seguì all'amputazione (2003) sotto al ginocchio della gamba destra di Martyn, che lo aveva costretto alla sedia a rotelle e alla successiva incisione dell'album On the Cobbles (2004). Negli ultimi anni della sua vita, John Martyn risiede in Irlanda, continuando a scrivere e a collaborare con vari artisti. Per celebrare il sessantesimo compleanno di Martyn, la Island ha pubblicato il 1° settembre 2008 un cofanetto con quattro CD dal titolo Ain't No Saint. Il cofanetto include molte incisioni dal vivo e del materiale inedito.

Martyn muore il 29 gennaio del 2009 nella sua casa in Irlanda a causa di una polmonite.