Zanim na terenie dawnej fortalicji w Sobkowie zbudowano barokowo-klasycystyczny pałac, stała tu siedemnastowieczna willa. Jej znaczne rozmiary: ok.32 na 21,5 metra sprawiły, że nazywa się ten obiekt także willą/pałacem. W trakcie badań odkryte zostały jej mury, wyróżniające się zupełnie inną techniką budowania. Najlepiej zachowały się one w północnej i zachodniej części obiektu. Inicjatorem budowy willi był Jan Wielopolski, kanclerz wielki koronny, któremu zależało na posiadaniu rezydencji, położonej w połowie drogi pomiędzy jego zamkami w Żywcu i Pieskowej Skale a Warszawą.
Program funkcjonalny willi, a także jej układ przestrzenny, był dość często stosowany w Polsce w 4. ćwierci XVII stulecia w magnackich rezydencjach w miastach i poza nimi. Willa była parterowa, dwutraktowa z trzema zbliżonymi do kwadratu pomieszczeniami w każdym trakcie i czterema alkierzami na narożnikach. Po środku znajdowały się pomieszczenia reprezentacyjne – hall i salon, pozostałe pomieszczenia miały charakter apartamentów mieszkalnych. Nad częścią środkową i pawilonami najprawdopodobniej była jeszcze jedna, niewysoka kondygnacja – mezzanino. Główną elewacją była elewacja zachodnia, otwierająca willę ku rzece, przy której założono nowy, tarasowy ogród. Wielopolski kontaktował się z Tylmanem z Gameren, jest więc wielce prwdopodobne autorstwo: albo samego Tylmana, albo kogoś z jego kręgu. Jan Wielopolski willi nie ukończył, sprzedając Sobków przed 1683 rokiem Sarbiewskim, którzy budowy nie kontynuowali, zamieszkując w starym, renesansowym obiekcie. Budowę willi dokończyli następni właściciele, Myszkowscy, zaś wnętrza ukończył dopiero Felicjan Szaniawski, władający Sobkowem od roku 1725.
Pierwszy etap przebudowy willi na pałac nastąpił po roku 1750, a zawdzięczamy go Annie z Ossolińskich Szaniawskiej. Polegał on głównie na budowie od strony południowej, pomiędzy alkierzami, trójprzęsłowej, otwartej galerii zwieńczonej półkolistym tympanonem. Takie rozwiązanie sprawiło, że ta elewacja stała się wówczas najważniejszą. Projekt tej fasady przypisuje się Ferdynandowi Naxowi. W etapie drugim, którego inicjatorem był Konstanty Felicjan Szaniawski, od strony zachodniej (czyli od rzeki) wyburzono pawilony, a na głównej osi tej elewacji dobudowano czterokolumnowy portyk. Portyk był nieznacznie wysunięty z lica elewacji; a zaznaczone zdwojonymi pilastrami skrajne jej partie, także trudno uznać za ryzality. Od północy dobudowano dwuprzęsłową galerię, podobnie jak stało się wcześniej od strony południowej.
Z inwentarza z roku 1799 dowiadujemy się, że pałac jest: „…nowo wymurowany jeszcze niedokończony, w którym jest galerii 2, sieni 5, pokojów kompanii wielkich 2, mniejszych 9, sal 4…”. Zmianie uległo także otoczenie pałacu – wszystkie pozostałe obiekty położone w obrębie murów otrzymały funkcje gospodarcze i pomocnicze w stosunku do umieszczonej centralnie rezydencji. Zmianie uległ też główny wjazd do rezydencji. By poprowadzić go na osi podjazdu do zachodniej elewacji, wykonano w starym budynku fortalicji sklepiony przejazd, przebito otwory bramne i wstawiono w nie portale, zabrane z miejsca, gdzie była dawniej brama. Wiek XIX i zdecydowana większość wieku XX nie były dla sobkowskich obiektów pomyślne – popadały coraz głębiej w ruinę. Dopiero ostatnie lata pozwalają mieć nadzieję, że zespół budowli stojących w obrębie dawnej fortalicji znowu powróci do świetności.