Zanim zbudowano w Kielcach biskupi pałac, krakowscy infułaci zamieszkiwali we dworze, który jak wynika z XVI wiecznych źródeł, stał w otoczeniu zabudowań folwarcznych niemal dokładnie tu, gdzie teraz znajduje się Dom Środowisk Twórczych, czyli według dawnej nazwy – pałacyk Zielińskiego. Zanim jednak doszło do zastąpienia biskupiego dworu pałacykiem Tomasza Zielińskiego, w roku 1752 w sąsiedztwie stajen i dawnego spichrza urządzono maneż – szkołę jazdy konnej, z niemiecka nazywany rajszulą. Budynek maneżu, czy może raczej ujeżdżalni, dostawiono do nowego, południowego muru „zamku” i nakryto nie osłoniętą od wewnątrz więźbą dachową. W wieku XIX, już po przejęciu przez rząd biskupich włości i zabudowań, rajszulę przerobiono na budynek mieszkalny.
W roku 1847 budynek wydzierżawił Tomasz Zieliński, od roku powołany na stanowisko naczelnika powiatu kieleckiego. Zieliński był postacią bardzo ciekawą, i wielce zasłużoną – jako kolekcjoner dzieł sztuki i mecenas wspierający artystów. Urodził się w roku 1802 w Krakowie i tam ukończył gimnazjum. Z Krakowa, czemu trudno się dziwić znając atmosferę tego miasta, wyniósł zainteresowania sztuką. Jednak początkowo zajął się głównie robieniem kariery urzędniczej – w roku 1829 wstąpił do służby w policji w Warszawie, awansując do stopnia komisarza.
Wysokie stanowisko służbowe z pewnością stało się pomocne w jego działalności jako mecenasa sztuki – łatwiej było mu prowadzić w stolicy artystyczny salon i rozwijać kolekcjonerskie pasje. W roku 1846 odszedł jednak na własną prośbę z policji, przyjechał do Kielc, by oprócz pełnienia funkcji naczelnika powiatu, przejść do historii miasta i regionu jako wybitny kolekcjoner i jak to wówczas nazywano „miłośnik starożytności”. Choć ogromna kolekcja po jego śmierci uległa niestety rozproszeniu, pamięć po naczelniku Zielińskim pozostała. Istotny na to wpływ ma z pewnością niezwykle oryginalna budowla przez niego stworzona, która przetrwała do dziś /dzięki remontom i pracom konserwatorskim/ służąc niemal nieprzerwanie kulturze.
Pierwszym etapem budowy było przekształcenie budynku mieszkalnego po dawnej rajszuli w romantyczny pałacyk. Wnętrza budynku przerobiono, aby lepiej mogły służyć celom recepcyjnym i ekspozycyjnym. Główny salon otrzymał wystrój klasycystyczny a od strony południowej dostawiono taras. W latach 1851 – 57 od wschodu dobudowano neogotycką oficynę składającą się z trzech brył: wieży, oranżerii i baszty. Oficynę przeznaczył Zieliński dla młodych artystów. Starszych i już zasłużonych uhonorował specjalnie wzniesionym w ogrodzie słupem pamiątkowym, na którym znajdowały się nazwiska twórców.
W południowo zachodniej części posesji zbudowany został pawilon ozdobiony neorenesansowym detalem, a obok niego stajnia z wozownią. Pomiędzy tymi obiektami a głównym budynkiem pałacu wzniesiono bramę, od góry nakrytą półkolistym łukiem, ozdobioną niszami. Od strony parku zespół zamykał mur z małą, ale za to niezwykle romantyczną, neogotycką basztą, do dzisiaj przez wszystkich mieszkańców Kielc nazywaną Plotkarką.
