II wojna światowa zastała Skórzewskich w Czerniejewie. Hrabia Zygmunt, co oczywiste, zgłosił się do swojego 16 Pułku Ułanów Wielkopolskich w Bydgoszczy, ale nie został wcielony ze względu na swój wiek (45 lat). Wtedy podjął decyzję o podróży wraz z żoną na Kresy, do Ołyki - dóbr Radziwiłłów. Pożyczonym z pałacu nieborowskiego powozem, dotarli na miejsce 17 września, kiedy na ziemie polskie wkroczyła armia radziecka. Radziwiłłów aresztowano, a potem wywieziono na Sybir. Skórzewscy (już z dziećmi, wysłanymi do Ołyki w sierpniu) zostali wtrąceni do zamkowych lochów, skąd potem wyrzucono ich wprost na ulicę.
Zarówno Czerniejewo, jak i Lubostroń zostały zajęte we wrześniu przez Niemców, a majątki Skórzewskich skonfiskowane.
Zygmunt Skórzewski, wraz z rodziną, ewakuował się z Polski przez Rumunię. W ambasadzie francuskiej w Bukareszcie otrzymali wizy i niezwłocznie udali się na Zachód, podróżując Orient Expressem. Będąc już we Francji, Zygmunt Skórzewski zgłosił się do polskich oddziałów wojskowych i otrzymał misję zorganizowania pomocy dla polskich żołnierzy w Hiszpanii. W późniejszym okresie działał głównie we Włoszech, gdzie polskie i alianckie władze liczyły na jego rozległe znajomości wśród tamtejszej arystokracji (np. ciotka jego żony była damą dworu królowej Włoch).