Bardzo niewiele pozostało dziś z pińczowskiego zamku. W czasach jego największej świetności, przypadających na okres panowania w Polsce Jagiellonów, uważany był /tak twierdzi Jan Długosz/ za jeden z najwspanialszych zamków Małopolski. Jednak początki zamku były znacznie wcześniejsze – na co wpływ miała naturalna obronność miejsca, zmuszająca wręcz do wykorzystania go na budowę, najpierw grodu a później zamku. Podczas badań archeologicznych zainspirowanych wzmiankami w księgach Długosza oraz rysunkami Eryka Dahlberga, towarzyszącego Szwedom w ich najeździe w czasach potopu, „ziemia przemówiła”. Potwierdziły się dane z dokumentów i materiałów ikonograficznych, odnaleziono ślady wczesnośredniowiecznego grodu z XI-XII wieku a także po-zostałości pierwotnego zamku, zbudowanego prawdopodobnie w XIII stuleciu. Ale najistotniejsze okazały się informacje dotyczące zamku Oleśnickich.
Zbigniew Oleśnicki, biskup, potem kardynał, wybitny mąż stanu, postać w naszej historii doskonale znana, zakupił stary zamek dla swojego brata, Jana Głowacza. Ponieważ budowla ta nie była jego zdaniem jak dla Oleśnickich dostatecznie okazała, stary zamek kazał rozebrać i na jego miejscu wybudować coś bardziej odpowiedniego. Na budowę, która trwała blisko trzydzieści lat wydał Oleśnicki 20 tysięcy grzywien, i to nie z własnej szkatuły, ale z kasy kościelnej. Długosz skomentował to złośliwie, ale z całą pewnością słusznie, że gdyby kardynał taką sumę na dzieła pobożne obrócił, zyskałby „wieczysty zamek” /arcem aeternam/ zamiast ziemskiego. Wydana przez Oleśnickiego suma /podaję za profesorem Miłobędzkim /stanowiła równowartość 70 wsi, a nie był to niestety jego jedyny wydatek poniesiony na cele absolutnie świeckie.
Zamek Oleśnickiego posiadał plan czworoboku. Na urwistym skraju cypla stanął dwukondygnacyjny dom mieszkalny, a po przeciwnej stronie dziedzińca zbudowano dwie potężne wieże o przeznaczeniu obronnym. Do zamku wjeżdżało się przez most umieszczony na kamiennych filarach. Na ogromnym filarze wymurowanym na wprost bramy, by się do niej dostać, należało skręcić pod kątem prostym. Przy budowie prawdopodobnie pracował znany z krakowskich realizacji murator Marcin.
Aż do roku 1586 pińczowski zamek nie ulegał większym zmianom. Dopiero gdy po śmierci Mikołaja Oleśnickiego /1586/ został wraz z miastem sprzedany Piotrowi Myszkowskiemu, doszło do rozbudowy i manierystycznej modernizacji zamku, który wówczas osiągnął stan przedstawiony na sztychach Dahlberga z połowy XVII stulecia. Na przedpolu zamku zbudowano wtedy obszerne i otoczone murami przedzamcze, przez które prowadził dojazd do właściwego zamku. W roku 1729 przeszedł on na własność rodziny Wielopolskich, którzy w 1780 roku kazali go zburzyć, traktując go jako źródło nadających się do sprzedaży materiałów budowlanych. Taką właśnie „męską” decyzję podjęła margrabina Eliza, X-ta Ordynatowa Wielopolska.