Podstaszowskie Rytwiany, oprócz kościoła i klasztoru kamedułów posiadają jeszcze jedną architektoniczną atrakcję. Są nią ruiny starego, gotyckiego zamczyska. O ile kamedulski klasztor usytuowany jest poza wsią, na zalesionym wzgórzu, to zamek zbudowany został na łąkach nad rzeką Czarną, niemal w środku Rytwian. Dziś niewiele już pozostało z dawnego zamku. Zachował się tylko jego fragment – południowo–zachodni narożnik wraz z wzmacniającą go /jak widać bardzo skutecznie/ przyporą. Wymurowano go z wapiennego kamienia i oblicowano cegłą z użyciem zendrówki, tworzącej dekorację w formie rombów. Otwory po belkach informują, że budowla oprócz przyziemia, miała jeszcze trzy kondygnacje nadziemne.
Na początku XV stulecia –źródła podają te datę różnie – może w roku 1414, a może w 1420 krakowski biskup Wojciech Jastrzębiec kupił Rytwiany od dziedziców ze Skotnik, przeznaczając je dla swoich bratanków. Wybudował też podobno zamek, ale z przeprowadzonych w roku 1980 badań archeologicznych wynika, że była to raczej przebudowa połączona z rozbudową.
Pierwszą fazę budowy stanowił budynek mieszkalny o wymiarach ok. 13 na 39 metrów, wybudowany jeszcze przez Klemensa z Mokrska, a więc przed rokiem 1397. Prawdopodobnie był tu wtedy jeszcze jeden budynek usytuowany równolegle do pierwszego, oddzielony od niego tylko wąskim podwórzem. W drugiej fazie budowy, czyli w 1. połowie XV wieku, wówczas gdy w Rytwianach przebywali bratankowie biskupa, wybudowane zostały mury obwodowe od południa, wschodu i zachodu, a całość czworoboku zamknięto od północy dość potężnym budynkiem, którego szerokość wnętrza wynosiła 10,5 metra. Po tej rozbudowie położony na płaskim terenie zamek przedstawiał się wielce imponująco: tworzyły go dwa czterokondygnacyjne budynki mieszkalne oraz potężne mury obwodowe z „skrzydłem” północnym, którego długość sięgała niemal 50 metrów. W zamku znajdowała się też kaplica – pewnie już od roku 1414, skoro wtedy nadano jej dziesięciny.
Rytwiański zamek wielokrotnie pojawiał się w dokumentach. W roku 1437 Dziersław, Jan Wojciech i Mikołaj z Rytwian mieli przekazać połowę zamku Mikołajowi Ściborowicowi, gdy ten dojdzie do lat sprawnych. W roku 1494 ruski wojewoda, Jan z Pilczy, pozwał Ewę z Rytwian, o najechanie zamku i zniszczenie zamkowej bramy przez sługi Ewy ze wsi Wojciechów. W 1502 roku Adam, syn Mikołaja z Kurozwęk, zajął przemocą /dowodził sześćdziesięcioosobowym oddziałem/ zamek swego ojca, rabując kosztowności, pieniądze i dokumenty dotyczące spraw majątkowych.
W roku 1516 zamek płonął, ale straty chyba nie były zbyt wielkie, skoro w roku 1527 Jarosław z Łasku „de Ritwyani heres” zastawia „castrum” Rytwiany z wsiami za 3 tysiące florenów Andrzejowi z Tęczynka, wojewodzie sandomierskiemu. W tym samym roku Andrzej wydzierżawia na okres jednego roku za kwotę 100 grzywien, zamek Rytwiany z wsiami i miastem Staszowem Jarosławowi z Łasku, wojewodzie sieradzkiemu. Rok później Andrzej z Tęczynka „kwituje” Hieronima z Łasku z 3000 florenów zapisanych na jego dobrach, w tym na rytwiańskim zamku.
Zamek w Rytwianach, podobnie jak wiele innych polskich zamków, „nie przeżył” szwedzkiego potopu. Odniesione podówczas zniszczenia, niestety później nie odbudowywane, sprawiły, że zamek popadł w ruinę, z której już nigdy nie został podźwignięty.