Син дипломата і письменника Рамона Фернандеса, мексиканця за походженням, з 1919 — громадянина Франції, в роки Другої світової війни колабораціоніст (він фігурує серед героїв роману Маргеріт Дюрас«Коханець»), його дід також був дипломатом.
З 1957 року викладач Французького інституту в Неаполі.
З 1961 року був одружений з письменницею Діаною де Маржері, вони розлучилися в 1971 році, двоє дітей: син Рамон і дочка Летиція. Згодом — відкритий гей, довгі роки його постійним супутником був фотограф сицилійського походження Ферранте Ферранті, знімками якого ілюстровані видання колійних записок Фернандеса.