W akcie fundacyjnym wskazano również, że już przodkowie Macieja Lewickiego nadawali grunta duchownym z Kożan. To potwierdza istnieje prawosławnej cerkwi wcześniej. Prawdopodobnie była wzniesiona kosztem rodziny Jundziłłowiczów - właścicieli Kożan po 1504. Jundziłłowicze sprzedali majątek kożański rodzinie Lewickich przed 1540Niewiński S., Nad Niewodnicą – z dwuwiekowej historii rodu Lewickich herbu Rogala, „Juchnowieckie szepty o historii”, Juchnowiec Kościelny 2016, s. 38.. Według Józefa Maroszka cerkiew pw. św. Jerzego w Kożanach istniała przed 1558Maroszek J., Pięć wieków Ziemi Juchnowieckiej, Juchnowiec Kościelny 2013, s. 43..
Parafia przeszła na unię wraz z ufundowaniem cerkwi w 1621. Dnia 4 kwietnia 1632 unicką parochię Jan Ignacy Lewicki dodatkowo uposażył w trzy czwarte włóki wolnejNiewiński S., Nad Niewodnicą – z dwuwiekowej historii rodu Lewickich herbu Rogala, „Juchnowieckie szepty o historii”, Juchnowiec Kościelny 2016, s. 40..
W XVIII w. unicka parafia w Kożanach była jedną z dziewiętnastu placówek duszpasterskich w dekanacie podlaskim unickiej metropolii kijowsko-wileńskiej. Po przyłączeniu części Podlasia do Prus znalazła się w granicach erygowanej w 1797 diecezji supraskiej, gdzie nadal wchodziła w skład dekanatu białostockiego. Następnie włączono ją do diecezji brzeskiej.