Podstawę materialną nowo utworzonej diecezji stanowiły posiadłości należące od XII w. do norbertanów z Litomyšla, których kościół został katedrą. Pierwszym ordynariuszem został opat norbertanów Jan I. Podczas jego pontyfikatu trwały spory majątkowe, wynikające z rozwiązania klasztoru norbertanów w Litomyślu. Wsparcia w rozwiązaniu tej sprawy udzielił diecezji z poparcia papieża biskup wrocławski Przecław z Pogorzeli, który w 1347 r. określił uposażenie biskupstwa. W tym samym czasie cesarz Karol IV nadał biskupom prawo do swobodnego rozporządzania mieniem diecezji. Mimo to nadal trwał spór o określenie w pełni granic diecezji, wskutek protestów sąsiednich biskupów. Między 1349 a 1350 r. arcybiskup praski Arnoszt z Pardubic dokonał podziału diecezji na cztery dekanaty: Chrudim, Vysoké Mýto, Polička i Lanškroun. Dołączono także dekanaty ołomunieckie: Šumperk i Úsov.
W celu stabilizacji ekonomicznej pozycji diecezji, biskupi zakładali wiele klasztorów, w tym dla augustianów eremitów w Litomyšlu (1356), augustianów kanonicznych w Villach (1371) i kartuzów w Tržek (1372). Za rządów bpa Albrechta von Sternberga przywieziono do stolicy diecezji w 1376 r. relikwie św. Wiktoryna, który został mianowany patronem diecezji.