W 1950 roku Guillaume został redaktorem w wydawnictwie Volk und Wissen w Berlinie Wschodnim. W 1952 roku wstąpił do SED. Według baz danych HVA we wrześniu 1954 został zarejestrowany jako tajny współpracownik Stasi pod kryptonimem "Hansen". W 1956 wraz z żoną wyjechał z NRD do Niemiec Zachodnich, gdzie zamieszkał we Frankfurcie nad Menem w domu swojej teściowej i trudnił się prowadzaniem sklepu z kawą i tytoniem oraz pracą fotografa.
Na polecenie Stasi w 1957 wraz z żoną wstąpił do SPD. Początkowo pracował jako szeregowy funkcjonariusz partyjny, a następnie m.in. jako sekretarz struktur partyjnych SPD we Frankfurcie nad Menem, a od 1968 jako radny we frankfurckiej radzie miejskiej. W 1969 roku Guillaume prowadził kampanię wyborczą ministra transportu Georga Lebera w jego okręgu wyborczym. Po uformowaniu rządu koalicyjnego SPD z FDP, z polecenia Webera został zatrudniony jako doradca w Departamencie Polityki Gospodarczej, Finansowej i Społecznej Urzędu Kanclerskiego.
W 1972 roku, dzięki swojemu zaangażowaniu i zdolnościom organizacyjnym, awansował na osobistego asystenta kanclerza Willy'ego Brandta ds. relacji ze związkami zawodowymi. Tam uzyskał dostęp do tajnych akt i dyskusji w wewnętrznym kręgu wokół kanclerza federalnego.