Osada o nazwie Chrząstów, dziś stanowiąca część Koniecpola, po raz pierwszy wzmiankowana była w roku 1136, jako uposażenie gnieźnieńskiego arcybiskupa. Za protoplastę rodu Pobogów uważa się komesa Mściwoja, człowieka o wielkich talentach politycznych, doskonale radzącego sobie w trudnych czasach rywalizacji książąt o tron krakowski. Pełnił on wiele wysokich urzędów, w tym wojewody krakowskiego i aż dwukrotnie łęczyckiego. Jego też uważa się za pierwszego z rodu, który przeniósł się do Chrząstowa, tu tworząc siedzibę a zarazem centrum swych majętności. Zamieszkiwał on w wieży mieszkalnej na kopcu, zlokalizowanej na podmokłych łąkach na lewym brzegu Pilicy, w miejscu o naturalnej obronności. Na tym samym brzegu rzeki, na wschód od gródka, „na końcu pola” rozwinęły się osady, choć kościół ufundowano na brzegu prawym, przy osadzie o jeszcze starszych korzeniach. Od tegoż „końca pola” Pobogowie przyjęli nazwisko Koniecpolskich.
Z czasem wieża na gródku przestała wystarczać – zbudowano więc w jego pobliżu (a może nawet wewnątrz drugiego pierścienia wałów?) murowany dwór. Zmierzch dworu na lewym brzegu Pilicy nastąpił pod koniec wieku XV lub na przełomie stuleci. Wówczas wybudowano fortalicję w Chrząstowie, czyli na brzegu prawym, która w roku 1540 wzmiankowana jest jako już istniejąca. Fortalicję rozbudowywał w latach 1603-5 Aleksander Koniecpolski, a dzieło kontynuował jego syn, Stanisław, hetman wielki koronny. Dokładnej daty nie znamy – wiadomo jednak, że zakończenie prac nastąpiło w 1. ćwierci XVII stulecia. Do roku 1719 Chrząstów należał do Koniecpolskich, do 1754 do Lubomirskich, do 1796 do Czapskich i aż do roku 1945 do Potockich.
Pałac Koniecpolskich, w którego zrębach znajdują się relikty fortalicji, przebudowany został w końcu XVIII stulecia przez Michała Czapskiego, albo nieco później przez Aleksandra Potockiego. Możliwe jest także, że prace rozpoczęte przez wojewodę malborskiego Czapskiego, kończył jego zięć, Potocki, minister policji Księstwa Warszawskiego.
Najstarszym fragmentem obiektu jest północne, kwadratowe w planie skrzydło, które przed przebudową stanowiło wieżę mieszkalną z XVI stulecia. Z czasów fortalicji zachowała się też wolnostojąca sześcioboczna baszta, położona około 20 metrów na zachód od wieży. Wówczas całość założenia uzupełniały jeszcze obwodowe mury i fosa. Koniecpolscy dobudowali do wieży późnorenesansowe, prostokątne skrzydło południowe, co nadało budowli plan odwróconej litery „T” o krótkiej nóżce (wszak wieża była kwadratem). Początkowo robotami kierował mistrz Piotr Bianco z Krakowa, który z pochodzenia był komaskiem (czyli przyjechał do Polski znad jeziora Como). Potem zastąpił go mistrz Florian z Wielunia.
Przebudowa klasycystyczna polegała na zmianach funkcjonalnych oraz na nowym wystroju elewacji i wnętrz. Od południa, symetrycznie względem głównej osi założenia, wybudowane zostały wówczas oficyny o ściśle gospodarczym przeznaczeniu. Powstało także założenie parkowe.
W 1. połowie wieku XIX przebudowana została sześcioboczna wieża – odtąd pełnić miała rolę romantycznej altany, połączonej z piętrem pałacu arkadowym przejściem. Dokonany w tym stuleciu remont pałacu nie przyniósł istotnych zmian. W roku 1945 chrząstowski pałac, wraz z całymi zbiorami, spłonął. Zrekonstruowano go w latach 1958-61, jednak całkowicie przebudowując wnętrza (odtąd miał pełnić rolę Domu Kultury).