W 1570 roku Jan Pilecki sprzedał Pilicę biskupowi Filipowi Padniewskiemu, którego bratanek Władysław Padniewski w 1610 roku, który opuścił zamek Smoleń i wzniósł, już w mieście, nową okazałą rezydencję obronną. Czterdzieści komnat pałacowych ozdobiono włoską sztukaterią, a strop sali jadalnej pokryto kasetonami. Później miasto przeszło w ręce Jerzego Zbarskiego, a następnie Konstantego Wiśniowieckiego. Jego córka w 1636 roku wyszła za Stanisława Warszyckiego wnosząc pileckie dobra w posagu. Warszycki otoczył pałac bastionowymi fortyfikacjami na planie prostokąta o bokach 170x300 metrów.
Podczas potopu szwedzkiego zamek w 1655 roku został zdobyty, ponownie dostał się w ręce szwedzkie podczas wojny północnej. Jeszcze w XVII wieku właścicielka Pilicy Maria z Wesslów Sobieska odremontowała zamek po zniszczeniach wojennych. Często zmieniający się potem właściciele coraz mniej dbali o rezydencję, dopiero w 1852 roku przemysłowiec Krystyn August Moes odremontował niszczejące zabudowania. Po pożarze kolejnego remontu podjął się L.Epstein. Po drugiej wojnie światowej zamek był jeszcze wykorzystywany jako dom dziecka i zakład wychowawczy dla młodzieży, ale z braku środków finansowych znów powoli niszczał. W 1989 roku zamek przeszedł w ręce prywatne i rozpoczęły się długotrwałe prace remontowe.
