Pod jego nieobecność, Janina 22 stycznia 1951 urodziła w Waszyngtonie drugiego syna, Johna Petera. W Paryżu ambasada amerykańska odmówiła Miłoszowi, w związku z ustawą McCarran Act i przy donosach polskiego emigranta w Paryżu ps. Ryszard Wraga zarzucającego mu kryptokomunizm, wydania wizy wjazdowej. Przeciwko przyjęciu Miłosza w Maisons-Laffitte protestowała też redakcja „Wiadomości” Mieczysława Grydzewskiego w Londynie. Sergiusz Piasecki opublikował w londyńskich „Wiadomościach” pamflet Były poputczik Miłosz. Między Czesławem Miłoszem a Janiną z synami zamknęła się na prawie trzy lata „żelazna kurtyna”. Janina z dwójką małych dzieci przeprowadziła się z Waszyngtonu do Pensylwanii i mieszkała do lata 1953 u Hanny i Ignacego Święcickich w Yorku.
W marcu 1953 roku Czesław Miłosz otrzymał za książkę „Zdobycie władzy”, w przekładzie Jeanne Hersch, obywatelki Szwajcarii żydowsko-polskiego pochodzenia, nagrodę Prix Littéraire Européen, która zapewniła mu środki finansowe na sprowadzenie bliskich do Francji. Do połączenia rodziny doszło latem 1953 w Normandii, kiedy synowie z matką przypłynęli statkiem do Hawru, gdzie czekał na nich w porcie Czesław Miłosz. Najpierw zamieszkali w Bons nad Jeziorem Genewskim, by wkrótce przenieść się do Brie-Comte-Robert.