Dwór w Podzamczu powstał nieco na uboczu od współczesnych mu szlaków komunikacyjnych, a od kilkudziesięciu lat, gdy wykonano obwodnicę Chęcin, jej przebieg zakłócił układ dworskiego założenia. Główny element zespołu, pałac stojący na skałce, zbudowany został w pierwszych latach XVII stulecia przez Jana Branickiego, chęcińskiego starostę. Obiekt ten powstał dlatego, że dotychczasowa siedziba starosty – chęciński zamek – nie była dość wygodna – zarówno pod względem surowości panujących tam warunków jak również ze względu na bardzo trudny dojazd. Dodać należy, że trend polegający na przenoszeniu starościńskich siedzib z zamków do znacznie wygodniejszych dworów lub pałacyków, był w tych czasach niemal powszechny.
Dwór zbudowano na terenie, gdzie już wcześniej istniał folwark. Z dokumentów wiadomo, że dwór drewniany istniał tu w roku 1602. a lustrator widział jak dla budowy nowego, murowanego dworu (w lustracji ochrzczonego „kamienicą”), wyłamywano kamień na górze Zamkowej. Z następnej lustracji (sporządzonej w roku 1617) wynika, że murowany dwór już istniał.
Dwór Branickiego był piętrowy, frontem zwrócony ku północy. Miał plan prostokąta o wymiarach 24 na 8 metrów, a do jego południowych narożników przylegały kwadratowe alkierze, o długości boku ok. 5,5 metra. Układ wnętrza dworu był jednotraktowy. Na parterze środkową część zajmowała obszerna sień nakryta sklepieniem kolebkowym z lunetami, po jej bokach znajdowały się dwa pomieszczenia (po jednym z każdej strony) nakryte sklepieniami kolebkowo-krzyżowymi, z których wchodziło się do alkierzy przykrytych płaskimi stropami. W alkierzu zachodnim znajdowała się kaplica. Budynek ten w niezmienionym kształcie przetrwał aż do upadku Rzeczypospolitej. W XIX stuleciu przekształcony został w spichlerz – okna parteru zostały zamurowane, a otwory okienne piętra bardzo pomniejszone.
W 2. połowie XVII stulecia starosta Stefan Bidziński zbudował drugi obiekt, zwany oficyną, usytuowany na północ od dworu Branickiego, prostopadle do jego osi. Ponieważ równolegle do dworu Branickiego stał już budynek kuchni, całość założenia uzyskała plan oparty na literze „U”, otwartej ku zachodowi. W kierunku wschodnim oś założenia zamykał kościół w Starochęcinach (o którego autorstwo „podejrzewany” jest Tylman z Gameren). Trudno przypuszczać, że takie właśnie usytuowanie oficyny i kościoła mogłoby być przypadkowe, a więc autorstwo Tylmana wydaje się być wielce prawdopodobne. Bidziński wybudował też bramę „triumfalną”, która wraz z umieszczona jeszcze dalej na południe altaną, tworzyła drugą oś kompozycyjną, prostopadłą do pierwszej.
Do czasów Bidzińskiego włącznie założenie dworskie w Podzamczu miało charakter rezydencji. Później przekształciło się raczej w zespół folwarczny, który w tej formie utrzymywał się aż do lat 20. XX stulecia, kiedy Ministerstwo Rolnictwa przekazało teren i obiekty na potrzeby szkoły rolniczej. Dwór i oficynę połączono wówczas w poziomie piętra arkadowym łącznikiem i nadbudowano piętro oficyny Bidzińskiego. Obok dworu Branickich, nad pierwotną, wykutą w skale furtką, przerzucono drugi arkadowy łącznik, budując na przedłużeniu tegoż dworu nowy obiekt, mieszczący sanitariaty dla uczniów. W dworze Branickich przywrócono dawne otwory okienne, wyremontowano sklepienia, a dach całkowicie zmieniono.