Piernikarskiej 9, który w okresie wojny należał do niemieckiego Teatru Zamkowego. W tym miejscu, pięknie położonym nieopodal ruin średniowiecznego zamku krzyżackiego, Teatr działa do dziś, czyli już ponad sześćdziesiąt lat.
Pierwszymi aktorami Baja Pomorskiego byli studenci Uniwersytetu Mikołaja Kopernika, którzy pod okiem doświadczonych aktorów i reżyserów odbyli warsztaty teatralne i poznali tajniki animacji lalek. Warunki pracy nie były łatwe. Teatr dysponował skromnym sprzętem, prowadzono intensywną działalność objazdową nie tylko na Pomorzu, ale niemal po całej Polsce. Ale Baj Pomorski zaczął mieć już pierwsze sukcesy. W 1947 roku dyrektorem artystycznym Teatru została Joanna Piekarska, artysta plastyk i reżyser. Zrealizowane przez nią przedstawienie Dom kotki zdobyło III nagrodę na I Festiwalu Sztuk Rosyjskich i Radzieckich w Warszawie w 1950 roku Sukces ten oraz aktywna działalność Teatru przyczyniły się do upaństwowienia toruńskiej sceny lalkowej.