Natomiast w sezonie 2001/2002 w spotkaniu z Hansą Rostock (4:3) zdobył w 90. minucie zwycięskiego gola dla swojego klubu stając się tym samym drugim bramkarzem po Jensie Lehmannie, który strzelił w Bundeslidze bramkę z gry. Przez 10 lat pobytu w Werderze rozegrał 147 ligowych meczów.
Latem 2002 Rost odszedł z Werderu i podpisał kontrakt z FC Schalke 04. Kosztował 6,5 miliona euro. Tam spotkał swojego dawnego kolegę z Bremy, Olivera Recka. Tym razem to jednak Frank został pierwszym bramkarzem klubu. Swój pierwszy ligowy mecz w barwach Schalke rozegrał 10 sierpnia, a klub z Gelsenkirchen pokonał VfL Wolfsburg 1:0. W pierwszych 2 sezonach nie odnosił z Schalke większych sukcesów, ale w sezonie 2004/2005 najpierw wywalczył wicemistrzostwo Niemiec, a następnie wystąpił w finale krajowego pucharu (Schalke przegrało 1:2 z Bayernem). W sezonie 2005/2006 zagrał w fazie grupowej Ligi Mistrzów oraz zajął 4. miejsce w Bundeslidze. Zdobył też Puchar Ligi Niemieckiej. W Schalke spędził także rundę jesienną sezonu 2006/2007, jednak po dobrym początku przegrał rywalizację z młodym golkiperem drużyny, Manuelem Neuerem.