Z powodu odmowy przystąpienia do NSDAP od 1938 pomijany był systematycznie w awansach. W tym czasie działał już w ruchu oporu. Jego współpracownikami z tego okresu byli: przyjaciel Fritz-Dietlof von der Schulenburg oraz Ulrich Wilhelm Schwerin von Schwanenfeld. Po pogromach Żydów 9 listopada 1938 (noc kryształowa) założył krąg dyskusyjny skupiony na prawach zasadniczych w nowej konstytucji. Jako oficer rezerwy powołany został na początku wojny do służby wojskowej w Wehrmachcie. W 1942 zaangażowano go w sztabie gospodarczym Wschód (niem. Wirtschaftsstab Ost) – komórce działającej na rzecz maksymalnego gospodarczego wykorzystania terenów okupowanych, podporządkowanej naczelnemu dowództwu sil zbrojnych III Rzeszy.
W styczniu 1940 rozpoczęła się ścisła współpraca Yorcka z Helmuthem Jamesem von Moltke. Wspólnie prowadzili oraz inicjowali spotkania Kręgu z Krzyżowej. Bardzo często odbywały się one w mieszkaniu Yorcka, znajdującym się w Berlinie-Lichterfelde. Odmiennie od swojego przyjaciela Moltkego, Yorck wspierał pomysł zamachu stanu, który miałby poprzedzić zamach na Adolfa Hitlera. Odkąd Claus Schenk Graf von Stauffenberg rozpoczął we wrześniu 1943 przygotowania do zamachu – Yorck wszedł do najściślejszego kręgu konspiratorów. Po udanym zamachu miał według planów objąć funkcję sekretarza stanu przyszłego kanclerza Rzeszy.