We wrześniu 1939 roku czasie kampanii wrześniowej, po agresji ZSRR na Polskę, na rozkaz komisarza ludowego Ławrientija P. Berii, NKWD przekształciło dom wypoczynkowy w obóz dla jeńców polskich, gdzie zakwaterowano ok. 5000 oficerów. Początkowo był to obóz przejściowy dla przekazania przez Sowietów jeńców polskich Rzeszy Niemieckiej, potem zmieniony w obóz specjalny oficerski ze względu na przeładowanie . Komendantem obozu kozielskiego został porucznik W. N. Korolew, a jego komisarzem starszy oficer M. M. Aleksiejew.
Był jednym z trzech obozów specjalnych w których zgromadzono ok. 15 000 polskich jeńców, po obozie w Starobielsku i w Ostaszkowie.
Codzienne życie w obozie było trudne. Więźniowie spali również w cerkwiach, kaplicach i piwnicach. Z powodu braku łóżek, niektórzy musieli spać na podłodze. W kilku domach spali na zmiany. Łazienki i pralnie były nieczynne. W kuchniach brakowało naczyń i sztućców, a woda była zawodna. Przepisowe racje żywnościowe na osobę nigdy nie były przestrzegane. Więźniowie wielokrotnie protestowali przeciwko złej jakości pożywienia.