Desde entonces sostuvo relaciones con Harriet Sohmers Zwerling (con la que convivió tras una intensa relación en París en 1957), y con la dramaturga cubana María Irene Fornés. Los últimos años de su vida mantuvo una relación sentimental con la fotógrafa Annie Leibovitz.
