„Na przedmieściu Królewskim – pisze ksiądz Wisniewski – naprzeciw bramy Opatowskiej, z której dotąd zachowały się ruiny, stał kościół św. Ducha, zaś przy nim ochrona dla ubogich i rezydencja księdza”. O istnieniu „szpitala ubogich”, ufundowanego przez Kazimierza Wielkiego informował w Liber Beneficiorum Długosz. Ale choć obaj pisali o obiektach stojących w tym samym miejscu, to nie były to te same kościoły. Gotycki, kazimierzowski kościół, zbudowany został zapewne w 2. połowie XIV stulecia, a po sprowadzeniu do Szydłowa franciszkanów, stał się świątynia klasztorną. Z czasem – być może – klasztorne zabudowania adaptowano na przytułek dla ubogich. Tak mówi jedna z hipotez. Ale jest też druga hipoteza, zakładająca powstanie pierwotnego kościoła pod wezwaniem św. Ducha oraz szpitala w następnym, XV stuleciu.
Z analizy stylu zachowanych resztek budowli – a także zastosowanych przy budowie charakterystycznych rozwiązań konstrukcyjnych i technologicznych – wynika, że obecny kościół zbudowany został w 1. połowie XVI stulecia. Nie wykluczone, że budowę tę możnaby powiązać z kolejnymi informacjami przytoczonymi przez księdza Wiśniewskiego: „W pobliżu kościoła św. Leonarda miał prepozyt szpitalny cztery pola zw. Pręty, które ongi Jan Goły, mieszczanin szydłowski, oddał na rzecz księdza szpitalnego, zaś król Zygmunt – w 1523 r. potwierdził tę darowiznę”. Szpital utrzymywany był z darowizn (w 1619 ks. Krzysztof Szurmicz oraz Bartłomiej Nowogrodzki, rycerz zakonu maltańskiego zapisali po 100 florenów) a także z dziesięciny w Solcu oraz licznych gruntów rolnych i łąk.
W roku 1630 kościół i szpital zostały spalone, ale odbudowano je względnie szybko – w 1664 „rezydowało” w przytułku 12 ubogich. Około połowy XVIII stulecia budynki szpitalne znów strawił pożar, ale na szczęście nie na tyle doszczętnie, by nie dało się ich po raz kolejny odbudować. Szybciej popadł w ruinę kościół – zapewne stało się tak w 2. połowie XIX stulecia. Szpital-przytułek okazał się być bardziej odporny. Ubodzy zamieszkiwali w nim jeszcze do roku 1944, kiedy to skutkiem działań wojennych doznał poważnych uszkodzeń. Resztki dachu, z którego nieznacznie „wystawały” ruiny frontowej ściany kościoła – widoczne są na fotografiach z lat 70. Obecnie zachowane są tylko mury, a przylegający do ruin cmentarz, sprawia, że wyglądają szczególnie ponuro.
W czasach świetności kościół św. Ducha wykazywał cechy stylowe późnego gotyku przemieszanego z renesansem. Jego wydłużony, prostokątny korpus (prezbiterium nie było wydzielone) zamknięty był trójbocznie. Od strony północno-wschodniej Towarzyszyła mu maleńka zakrystia. Od frontu (południowy-zachód) poprzedzał go przedsionek, z którego prowadziły wejścia zarówno do kościoła jak i do symetrycznie rozmieszonych dwóch skrzydeł szpitalnych, osobnych dla kobiet i dla mężczyzn. Określenia „skrzydło” użyłem nieco na wyrost. Miały one wymiary po ok. 13.5 na 7.5 metra i składały się każda z dwóch izb. Jako materiał budowlany użyto łamanego kamienia, zaś ościeża otworów wykonano z ciosu. W kościele i kruchcie wykonane były sklepienia (zachowały się tylko bardzo skromne fragmenty), a w pomieszczeniach mieszkalnych zapewne drewniane stropy. Z detali – najlepiej chyba zachowało się okrągłe okno we frontowej elewacji kościoła.