Ossolińskiego zamku już nie ma – zachowały się jedynie kamienne łuki zwodzonego mostu oraz bardzo skromne fragmenty murów i piwnic. Zamek opuszczony przez właścicieli chylił się ku ruinie. W pierwszych dziesięcioleciach XX wieku stała jeszcze brama przy moście i znaczne partie narożnej wieży. Wszystko to znikło ostatecznie podczas II wojny światowej.
Nie wiadomo który z Ossolińskich /rodziny wywodzącej się z Toporczyków/ wybudował w swej rodowej siedzibie zamek. Z pamiętnika Zbigniewa Ossolińskiego wynika, że obiekt istniał już w XVI wieku, ale raczej nie był główną rezydencją Zbigniewa. Podobnie rzecz się miała z synem Zbigniewa, Jerzym, który najczęściej przebywał w Warszawie, czego wymagały pełnione przez niego godności: senatora /jako wojewody sandomierskiego/, podkanclerzego, a od roku 1643 kanclerza wielkiego koronnego. Rozbudowa zamku w Ossolinie nastąpiła prawdopodobnie przed 1632 rokiem; jego wspaniałość musiała mieć wpływ na ugruntowanie pozycji Jerzego w Ziemi Sandomierskiej, a w konsekwencji na przebieg jego dalszej kariery politycznej .
Na podstawie akwareli Vogla i osiemnastowiecznych inwentarzy można spróbować odtworzyć wygląd zamku i układ jego pomieszczeń. Zamek stał na płaskowzgórzu otoczonym bastionowymi fortyfikacjami i murem ze strzelnicami. Dojazd doń prowadził łukowym mostem przerzuconym nad wąwozem, wiodącym do okazałej murowanej bramy. Za bramą znajdował się dziedziniec, a za nim czworoboczny korpus zawierający część mieszkalną, zgrupowaną wokół niewielkiego wewnętrznego dziedzińczyka.
Korpus zamku miał trzy kondygnacje zwieńczone attyką. Narożnik południowo – zachodni zajmowała okrągła baszta „wtopiona” w bryłę korpusu. Brama przesklepiona kolebką znajdowała się w skrzydle zachodnim. Pomieszczenia parteru przeznaczone były na cele gospodarcze – były tam: skarbiec, kuchnia, pomieszczenia dla służby i „...sklep gdzie konie trzymają...”.
Najbardziej bogato wyposażone były pomieszczenia reprezentacyjne znajdujące się na piętrach skrzydła północnego. Wśród nich największą była sala zwana galerią, o której czytamy w lustracji: „…okien wielkich ad instar w kościele wysokich ośm...”. Apartamenty mieszkalne mieściły się we wschodnim skrzydle a także przy narożnej wieży.
Ossolin wiele znaczyć musiał dla Jerzego Ossolińskiego, skoro nazywał go „familiae universae ornamento” a w swoim pamiętniku użył takich słów: „...Lada jako spustoszony dział wziąłem między bracią moją, tym bardziej się ciesząc, żem został w gnieździe przodków moich, w którym ich Pan Bóg tak wiele set lat błogosławił i pomnażał, i że mi się ta ziemia w dział dostała, gdzie ojciec mój miły kości swe położyć miał, a zatem i błogosławieństwo w szczepie najobfitsze, na czem się zawiódł...”.
Po śmierci kanclerza Ossolin odziedziczyła jego córka Teresa Denhoffowa. Franciszek Teodor Denhoff, starosta wiślicki, odbudował zamek ze zniszczeń po szwedzkim potopie i wzniósł w pobliżu /1690 rok/ kaplicę zwaną Betlejemką. Po Denhoffach właścicielami zamku zostali Lubomirscy, lecz w roku1755 dobra powróciły znów do Ossolińskich. Nie na długo jednak, bo w 1780 roku Ossolin zakupił Franciszek Ledóchowski, wojewoda czernichowski. Chylący się ku ruinie zamek nie nadawał się jego zdaniem do zamieszkania. Wybudował więc sobie zupełnie nową rezydencję w położonych w pobliżu Górach.