Nazwał tę taktykę „nieprzyzwoitą bronią”, mówiąc, że każdy kto ją praktykuje „jest skłonny usunąć ziemię pod własnymi stopami poprzez praktykowanie tej samej niesprawiedliwości, której się sprzeciwia”. Nie zgadzał się również z wieloma innymi niemieckimi działaczami na rzecz praw gejów, takimi jak Adolf Brand, którzy nie postrzegali swojej walki jako części szerszego ruchu. Poglądy Holzmanna nie były również całkowicie niekontrowersyjne w niemieckim ruchu anarchistycznym. Max Nettlau i Gustav Landauer, obaj znani anarchiści, krytykowali politykę seksualną zawartą w Der Kampf.

W czasie pobytu w Berlinie poznał wielu znanych pisarzy i członów bohemy. Bardzo blisko przyjaźnił się z Else Lasker-Schüler, słynną poetkę ekspresjonistyczną. To ona nadała mu pseudonim Senna Hoy, co było odwróceniem jego imienia, ale miała też kilka innych pseudonimów dla niego. Erich Mühsam również darzył dużym szacunkiem Holzmanna, choć czasami krytykował go za „nieco fantazyjną i ryzykowną postawę”. Austriacki anarchista Pierre Ramus nazwał go „najbardziej niestrudzonym czeskim proletariuszem niemieckojęzycznego ruchu anarchistycznego”. Prace Holzmanna były wielokrotnie przedmiotem cenzury władz pruskich. Z dwudziestu pięciu numerów Der Kampf, jedenaście zostało zakazanych. W 1905 Holzmann uciekł z Prus i przeniósł się do Zurychu w Szwajcarii.