Historycy przypuszczają, że już wcześniej istniały w tym miejscu zabudowania drewniano-ziemne. Początkowo warownię tworzyła kamienna strażnica podległa pod pobliski zamek w Bobolicach, która wraz z nim wchodziła w skład systemu obronnego znanego dziś jako Orle Gniazda. Strażnica ta należała do szlacheckiego rodu Lisów, którzy byli również właścicielami pobliskiego zamku w Koziegłowach. Jako pierwsi zainicjowali oni rozbudowę umocnień do formy rycerskiego zamku. W 1378 warownia ta nadana została jako lenno Władysławowi Opolczykowi przez Ludwika Węgierskiego, jednak za prowadzenie wrogiej Polsce polityki Władysław Jagiełło odebrał ją w 1396.
Jedna z pierwszych wzmianek odnotowuje Sassina, który w latach 1401–1405 był pierwszym burgrabią Mirowa. Zarządzał on zamkiem w imieniu właściciela – kasztelana sądeckiego Krystyna z Kozichgłów. W 1416 dokumenty sądowe wymieniają kolejnego burgrabiego mirowskiego o imieniu Polanis, który prowadził spór z plebanem ze Zrębic. W 1424 Władysław Jagiełło na prośby Krystyna przeniósł jego wsie leżące w ziemi krakowskiej: Choroń, Oltowiec, Mirów, Kotowice, Postawczowice, Jaworznik, Dupice, Żerkowice, Siamoszyce, Giebołtów, Kowalów i Kowalików z prawa polskiego na prawo średzkie.