W panoramie wsi Chełmce istnieją dwie dominanty: srebrzysta sylwetka kościoła na wyniosłym wzgórzu i znacznie już trudniejszy do wyróżnienia – biały dach dworu otoczony zabudową mieszkalną i gospodarczą wsi. Gdy wiejskie domostwa były wyłącznie parterowe dwór dostrzec było o wiele łatwiej, teraz wiele chat zastąpiły obce w tym krajobrazie piętrowe niby-wille.
We wsi dwór nazywano kamienicą zaś wśród krajoznawców egzystował on jako dawny zbór. Nie miał też szczęścia do historyków sztuki i konserwatorów zabytków. Za zabytek uznano go, oficjalnie wpisując do rejestru, dopiero w roku 1956, kiedy miał blisko czterysta lat.
Powstanie chełmskiego dworu datuje się na schyłek XVI stulecia. Fundatorką była najprawdopodobniej Anna, córka gdańskiego starosty Jana ze Sztemberku, po mężu Ostrogska, wojewodzina wołyńska. Chełmce odziedziczyła po matce, Zofii z Odrowążów. Czy budowała „na surowym korzeniu”, czy być może jej „kamienica” stanowiła przebudowę czegoś jeszcze starszego – tego nie wiadomo. Możemy się natomiast domyślać, że przemianowanie dworu na zbór mogło mieć jakiś związek z wyznawaniem prawosławia przez wojewodę Ostrogskiego.
Dwór zbudowano na planie kwadratu, rozmierzając go w stopach krakowskich. Ma on długość boku liczącą 42 stopy, zaś grubość murów wynosi: dla parteru stóp 3 a dla piętra 2 stopy. Dokładna analiza wymiarów budynku, w tym rozmieszczenia okien, świadczy iż przyjęte tu proporcje rygorystycznie podporządkowano zasadzie „złotego podziału”. Nie była to więc architektura samorodna czy spontaniczna, lecz efekt działalności profesjonalistów. Innym dowodem wysokiego poziomu wiedzy budowniczych dworu jest jego lokalizacja – na stoku, dobrze osłoniętym od dokuczliwych wiatrów, w miejscu gdzie nie występują zastoiny mroźnego powietrza.
W wieku XVII, kiedy Chełmce należały do Jana Aleksandra Tarły, dwór uznany został za siedzibę nazbyt skromną dla wysokiej pozycji społecznej i majątkowej jej właściciela. Po zbudowaniu pałacu w Pobliskim Podzamczu Piekoszowskim, ranga Chełmiec została obniżona do roli folwarku. Wielką salę, zajmującą dotąd całe piętro, podzielono wówczas ścianami na sień i dwie izby, a przy narożu północno wschodnim dobudowano klatkę schodową. Potem podzielono jeszcze sień, uzyskując na piętrze cztery pomieszczenia. Dobudowano też skrzydło kuchenne.
W wieku XVIII ówczesny właściciel, Szymon Tarło, mieszkał na Podolu a Chełmce traktował jako dwór myśliwski, przebywając tu bardzo rzadko. W stuleciu XIX władze carskie majątek skonfiskowały za udział Henryka Tarły w Powstaniu Listopadowym. Rozpoczął się wówczas proces dewastacji dworu. Kiedy w wyniku amnestii powstaniec mógł wreszcie z emigracji powrócić, dzieło odbudowy zostało podjęte. Jednak na krótko – choć patriotyzm Tarłów okazał się być silniejszy od wszystkiego – Rosjanie dwór spalili, a represje wymierzone we właścicieli doprowadziły w końcu do parcelacji majątku w roku 1901. Potem ratowano obiekt próbując wykorzystać go na szkołę, później na cele gospodarcze. Dzisiejszy, nienajgorszy stan dworu w Chełmcach pozwala jednak żywić nadzieję, że być może uda się uratować obiekt, który uważa się „za jedno z najstarszych świadectw kultury domu polskiego w Górach Świętokrzyskich”.