Cesarzowa przekonała swojego męża, aby wzięli ze sobą swoje dwie córki – Zofię i jej młodszą siostrę, Gizelę. Przeciwna temu pomysłowi była arcyksiężna Zofia, która próbowała przekonać syna, aby pozostawił dzieci w Austrii. Franciszek Józef po raz pierwszy wyraźnie wziął stronę swojej młodej żony i małe arcyksiężniczki wyjechały wraz ze swoimi rodzicami za granicę. W maju 1857 roku mała Zofia poważnie zachorowała, a 29 maja – zmarła. Para cesarska wróciła do Austrii, odwołując następne wizyty zagraniczne, które miały się odbyć. Elżbieta wpadła w głęboką depresję. Czując się winna śmierci najstarszego dziecka, postanowiła nie walczyć z teściową o prawa do młodszej córki i pogrążyła się w rozpaczy.
Genealogia Prapradziadkowiecesarz rzymskiLeopold II Habsburg(1747-1792) ∞ 1765 Maria Ludwika Burbon(1745–1792)król HiszpaniiFerdynand I Burbon(1751-1816) ∞ 1768 Maria Karolina Habsburg(1752-1814)Fryderyk Michał Wittelsbach(1724-1767) ∞1746 Maria Franciszka Wittelsbach(1724-1794)Karol Ludwik Badeński(1755–1801) ∞ 1774 Amalia Fryderyka Hessen-Darmstadt(1754-1832)książę w BawariiWilhelm Wittelsbach(1752-1837) ∞1780 Anna Maria Wittelsbach(1753-1824)Ludwik Maria Arenberg(1757-1795) ∞ Anna de Mailly-Nesle(1766-1789)Pradziadkowiecesarz AustriiFranciszek II Habsburg(1768-1835) ∞ 1790 Maria Teresa Burbon-Sycylijska(1772-1807)król