Jeszcze w czerwcu 2004 klub starał się o kupno dzikiej karty uprawniającej do udział w rozgrywkach Polskiej Ligi Koszykówki, jednak wniosek nie został w ogóle rozpatrzony ze względu na brak wymaganych dokumentów w kwestii gwarancji finansowych. Kilka miesięcy później Alba popadła w poważne problemy finansowe, mając trudności z pokryciem bieżących kosztów działalności. Choć w sezonie 2004/2005 chorzowski klub ponownie odpadł w pierwszej rundzie play-offów to, ze względu na trudności z zebraniem budżetu w wysokości około 600 tysięcy złotych, po zakończeniu rozgrywek zaproponowano fuzję z Siarką Tarnobrzeg – na sytuację tę wpływ miał również fakt, iż Alba sezon 2004/2005 zakończyła z długiem wynoszącym około 250 tysięcy złotych. Ostatecznie zamiast fuzji dokonano zamiany miejsc między oboma klubami, w wyniku której Siarka w sezonie 2005/2006 przystąpiła do I ligi, a Alba do II ligi. W sezonie 2005/2006 KKS Alba Chorzów wygrała tylko 3 z 28 meczów na trzecim szczeblu rozgrywkowym, zajmując ostatnią, 15. pozycję w grupie B i spadając do III ligi.