Kiedy Małgorzata Maultasch wyszła za mąż za Ludwika V Bawarskiego w 1342, Kitzbühel zostało połączone z Tyrolem. Po porozumieniu w Schärding w 1369 miasto zostało oddane Bawarii. W dniu 30 czerwca 1504 Kitzbühel zostało włączone ponownie do Tyrolu. Gdy cesarz Maksymilian I Habsburg podbił Kitzbühel i Kufstein, przejął pod swoją władzę urzędy administracyjne w Kitzbühel i tak pod koniec XVI wieku znalazły się pod władzą hrabiego Lamberga. W dniu 1 maja 1840 Kitzbühel zostało włączone do państwa austriackiego.
Wojny w XVIII i XIX wieku nie dotknęły miasta, ale niektórzy mieszkańcy uczestniczyli w buncie przeciwko Napoleonowi. Kitzbühel jeszcze raz stał się częścią Bawarii po pokoju w Preszburgu, a ponownie połączył się z Tyrolem po upadku Napoleona, na Kongresie wiedeńskim. Cesarz Franciszek Józef ostatecznie rozwiązał wątpliwości związane z konstytucją, a ponadto rozpoczął budowę linii kolejowej Salzburg-Tyrol (Salzburg-Tiroler-Bahn) która została ukończona w 1875 roku i dzięki której w mieście rozkwit handel i przemysł.