Rodzice Virginii pobrali się po tym, gdy każde z nich straciło poprzedniego partnera. W wyniku takiego związku w ich domu mieszkały dzieci z trzech małżeństw. Dzieci Julii, które miała ze swoim pierwszym mężem, Herbertem Duckworthem, to: George Duckworth (1868-1934), Stella Duckworth (1869-1897) i Gerald Duckworth (1870-1937). Laura Makepeace Stephen (1870-1945), córka Lesliego i Harriet Marion Thackeray, była psychicznie chora i mieszkała z rodzicami, dopóki w 1891 roku nie umieszczono jej w zakładzie zamkniętym, gdzie spędziła resztę życia. Czworo dzieci Lesliego i Julii to: Vanessa Stephen (1879-1961), Thoby Stephen (1880-1906), Virginia (1882-1941) i Adrian Stephen (1883-1948).
Sława Lesliego Stephena jako redaktora, krytyka i biografa, jak również jego znajomość z Williamem Thackerayem (jego teściem – był to ojciec pierwszej żony Lesliego) oznaczały, że Virginia Woolf wychowywała się w środowisku nasyconym wpływami wiktoriańskiego społeczeństwa literackiego. Henry James, , Julia Margaret Cameron (ciotka Julii Duckworth) i James Russell Lowell, który był ojcem chrzestnym Virginii, również odwiedzali jej dom rodzinny.