S ąsiadujący z pałacem biskupów krakowskich kompleks budynków nazywanych dziś „zespołem powięziennym” wygląda bardzo ponuro. Już samo jego „więzienne” przeznaczenie jest dostatecznie przygnębiające, a wrażenie to jeszcze pogłębia postępująca wciąż autodestrukcja budynków. Od czasu wyprowadzenia się stąd aresztu śledczego – co nastąpiło w roku 1980 – obiekty użytkowane są na różne cele, ale to użytkowanie ma charakter mocno tymczasowy. Wciąż oczekuje się, że trafi się inwestor, który będzie chciał (i będzie go na to stać) znaleźć dla budynków nową, nie kolidującą z oto-czeniem funkcję, a przy okazji przywrócić im ich historyczne walory.
Zbudowany na przełomie lat 30./40. XVII stulecia pałac wymagał w swym sąsiedztwie zespołu obiektów pomocniczych. Usytuowano je na południe od pałacu, początkowo budując je jako drewniane. W 1.połowie XVIII stulecia (prawdopodobnie pomiędzy 1720 a 1732 rokiem) drewniane stajnie i wozownie zastąpiły nowe: „... z fundamentu za S.P Xcia Szaniawskiego erygowane w Kwadrat nie Zupełny wspaniale kunsztownie wymurowane…Frontem naprzeciw Pałacu…” – czytamy w inwentarzu z roku 1746. „Staynie y Wozownie Pańskie” składały się z trzech skrzydeł usytuowanych wokół niemal kwadratowego dziedzińca, otwartego w stronę pałacu. Wozownie znajdowały się w północnej części skrzydeł: zachodniego i północnego. Resztę powierzchni zajmowały stajnie. Wozownie nakryte były sklepieniami „na trzech arkadach”. Zespół wybudowany jest na zboczu wzgórza – znaczne spadki terenu sprawiły, że pod zachodnią wozownią wykonano piwnicę (od zachodu wychodzącą ponad teren), w której umieszczono masztalernię. Na osi skrzydła południowego znajdował się ryzalit stanowiący „stancję” koniuszego. Południowa ściana stajni była jednocześnie murem ogradzającym teren całego zespołu.
Równolegle do wozowni, na wschód od zespołu stajennego stały dwa budynki. Od północy był to parterowy budynek starościński zwany „ekonomią”, od południa piętrowy obiekt mieszczący starościńskie: stajnię, wozownię i kuźnię. Stajnie „pańskie” i „starościńskie” łączył mur, w linii którego stał budynek bramny, nakryty namiotowym dachem.
Sejm Czteroletni upaństwowił dobra biskupie – właścicielem całego zespołu stał się Skarb Państwa. W 1809 powstała w Kielcach Dyrekcja Górnicza, a po Kongresie Wiedeńskim, gdy przeniesiono siedzibę urzędu województwa krakowskiego do Kielc, wszystkie budynki „pobiskupie” znalazły nowe przeznaczenie stając się siedzibami przeróżnych urzędów. Jeszcze w czasach Księstwa Warszawskiego, w latach 1809-12, dawną kuźnię starościńską zajął sąd, zaś związane z nim więzienie umieszczono we wschodnim skrzydle dawnych stajen. Zajmowane przez Sąd Kryminalny i więzienie powierzchnie mocno wzrosły po roku 1828, gdy zlikwidowano Główną Dyrekcję Górniczą. Wiązało się to ze znaczącymi przeróbkami wnętrz budynków.
Zmiany ograniczano początkowo tylko do przekształcania wnętrz, potem w miarę rosnących potrzeb, powstawały nowe kubatury. W latach 1845-66 do dawnego budynku „ekonomii” dobudowano obiekt zawierający kuchnię. W latach 1867-1919 nadbudowano: budynek dawnej ekonomii, całe wschodnie skrzydło dawnych stajni i wozowni oraz północną część skrzydła zachodniego. Rosły nowe mury wokół zespołu, a w roku 1880, przy Zamkowej powstał jeszcze jeden piętrowy budynek oraz wysoki mur odgradzający więzienie od ulicy. Żelbetowe wieżyczki dla strażników powstały najpóźniej, po roku 1928.