Kiedy Vanessa Bell poinformowała córkę o jej prawdziwym pochodzeniu, poradziła, aby o nim nie wspominała. Miało to przeciwdziałać roznoszeniu się plotek przez służbę oraz zachować możliwość dziedziczenia przez dziewczynę po ojcu – Clivie Bellu, który zapewnił spadek dwóm wnukom. Angelica dorastała w przekonaniu, że właśnie tych dwoje wnucząt, synowie Vanessy i Clive’a: Julian Bell, który został zabity w 1937 roku podczas hiszpańskiej wojny domowej, oraz historyk sztuki Quentin Bell, byli jej biologicznymi braćmi, nie przyrodnimi. Vanessa pocieszała się myślą, że jej córka miała dwoje ojców, w rzeczywistości, jak pisała Angelica, nie mam żadnego.
Edukacja Angelica dorastała w Charleston, pobłażliwie traktowana przez matkę i otoczona artystami, pisarzami i intelektualistami z Grupy Bloomsbury. Po jej 14. urodzinach Virginia Woolf podarowała jej budżet przeznaczony na ubrania wielkości £100 rocznie.