Pod koniec 1905 r. został aresztowany po stawieniu zbrojnego oporu rosyjskiemu patrolowi, który chciał go zatrzymać. Osadzony na Pawiaku, po śledztwie, za udział w 11 aktach terroru (m.in. zabójstwa policjantów, zamach bombowy na gen. Skałona, napad ekspropriacyjny na kantor Prywesa), do czego się nie przyznał, otrzymał wyrok śmierci razem z dziewięcioma towarzyszami. Jednak nocą z 23 na 24 kwietnia 1906 r. zostali oni uwolnieni dzięki przez bojowców PPS pod wodzą Jana „Jura” Gorzechowskiego, którzy w przebraniu żandarmów, posługując się sfałszowanymi rozkazami, wywieźli ich w karetce więziennej. Zbiegowie przebrali się w cywilną odzież, zostali zaopatrzeni w broń, ruble i nowe dokumenty (papiery Kołakowskiego wystawione były na nazwisko Konrada Maja). Bezzwłocznie też odjechali z Dworca Wiedeńskiego pociągiem zmierzającym w kierunku Krakowa, ale Kołakowski wraz z jednym towarzyszem przesiadł się w Koluszkach na pociąg do Łodzi. Od ok. 28 kwietnia przez tydzień psychiatra dr Jan Mazurkiewicz ukrywał ich w celi zakładu dla umysłowo chorych „Kochanówek” pod Łodzią. Potem Kołakowski pod fałszywym nazwiskiem pracował przez sześć tygodni jako nauczyciel w szkole ludowej w Burzeninie, a następnie w kopalni „Saturn” w Zagłębiu. Stamtąd wyjechał wreszcie z Kongresówki i latem 1906 r. przez dwa miesiące przebywał w majątku prof.