1930年、千葉県東葛飾郡木間ヶ瀬村（現・野田市）の真言宗の仏門に生まれ、仏徒として修業する傍ら、16歳で山本丘人に師事、その後田中青坪のもとで修行。22歳のときに院展初入選を機に「仏道を捨て、絵の道を選んだ」。

画家を志した当初は、東京美術学校（現 東京藝術大学）を2度受験するも叶わず。人物画家志望であったが、師事した田中青坪が所属していた院展で、審査に人物画と風景画の二点を出品したところ、人物画が落選したことから風景画へ舵を切ることになったり、画家としての歩みは挫折感に苛まれたものであった。

風景画家として歩み始めた当初は生まれ育った、埼玉・千葉の利根川や江戸川流域の風景を描いていたが、人の話しに聞く北海道の広大な土地、雄大な自然に憧れていた後藤が、念願叶い初めて北海道を訪れたのは、院展初入選から約10年を経た1960年のことであった。

北海道への漠然とした思慕は、「北国の美しさは冬にある」ことに気付いたのを機に、回を重ねて訪れる度に強烈な希求となり、北海道ならではの美の追求、ひいては自己探求への旅へと変貌を遂げて行き、道内各地への取材は約10年に及ぶことになる。

北海道の自然との邂逅は、寺での貧しい暮らしに耐え、描き抜いて来た屈強な精神を更に強靭に鍛え上げるものとなり、厳しい渓谷風景や岩盤を描くことで、技術的にも様々な技法を試行錯誤した成果は「渓谷瀑布シリーズ」と呼ばれる作品群となり、日本画壇で頭角を現すきっかけとなったものだ。

その後、北海道の「滝シリーズ」が終わり、現在も後藤純男といえば「大和路風景」といわれる五重の塔や三重の塔を主題とした、日本の四季の風景を次々と発表。
この間、文部大臣賞や内閣総理大臣賞等受賞すると共に、1979年には国交回復した中国へ、「現代日本絵画展」代表団の一員として加わり訪れたのを機に、中国をテーマにした新たなる絵画表現への取り組みを始める傍ら、東京芸術大学教授や西安美術学院名誉教授など、後進の指導や、中国で日本画の普及に努めるなど活動の幅も広がりをみせてきた。

東京藝術大学教授として活躍していた1990年には、かつて絵画での自己表現の学びの場であった北海道で、初めての個展が開催され、更に、1995年にはフランス・パリで初の個展を開催。入場者数の記録を塗り替えるなど、2ケ月に及ぶ個展は大盛況の内に幕を閉じた。

院展では日本美術院賞（大観賞）、内閣総理大臣賞等を受賞したほか、日本芸術院賞・恩賜賞を受賞するなど数々の栄誉ある賞を受賞し、2016年の逝去後も、宗教的荘厳さが漂う作品で日本画壇に比類ない存在感を放っている。