Kaštieľ má bohatú históriu. Počas svojej existencie bol sídlom urodzeného rodu, františkánskym internátom, vojenským skladom i nemocnicou.
Pôvodne bol barokovým reprezentačným šľachtickým sídlom. Kaštieľ je štvorkrídlový, uzatvorený objekt s vnútorným nádvorím. Pôvodnými majiteľmi kaštieľa boli Pálfiovci. Budova bola niekoľkokrát prestavaná. Začiatkom 19. storočia bola uskutočnená radikálna prestavba kaštieľa, pri ktorej sa zmenila pôvodná podoba fasád aj interiéru do klasicistického slohu. Barokovú záhradu vystriedal anglický park. Podľa historických údajov bol zámocký kaštieľ s parkom obklopený kamenným múrom. Po úpravách v klasicistickom slohu a iných zásahoch dostal kaštieľ dnešnú podobu. Z pôvodnej fasády ostal ohradený balkón nad hlavným vchodom a vzácne francúzske komíny na streche. Interiér kaštieľa bol pôvodne vyzdobený poľovníckymi trofejami, zbierkou zbraní a vzácnym nábytkom. Kaštieľ má dve nadzemné podlažia a rozsiahle podzemné priestory, tiež sa predpokladá existencia podzemných chodieb zo zámku. Nádvoriu dominuje studňa so sochou jeleňa, ktorý bol pôvodne z bronzu. V súčasnosti je pri studni jeho replika vyrobená z epoxidu. Nachádzajú sa tu taktiež slnečné hodiny. Do zámku viedli tri brány. Čierna brána z tepaného železa stojaca dodnes, Biela brána viedla do parku z „Rádku“ a Červená brána, ktorá slúžila na zásobovanie zámku. Po roku 1918 obývali kaštieľ dôstojníci oslobodzovacej československej armády. V roku 1934 získala kaštieľ s parkom rehoľa františkánov Rádu sv. Františka z Assisi. Po roku 1945 sa užívatelia zámku vymieňali. V rokoch 1944 – 1945 tu boli väznení a týraní nemeckým gestapom účastníci SNP. Po vojne bol kaštieľ využívaný ako kasárne. Po roku 1957 bola v kaštieli zriadená nemocnica.

Zámocký park
Ku kaštieľu vedie od Čiernej brány aleja platanov. V zámockom parku rastú rôzne druhy drevín, ako duby, buky, smreky, smrekovce, gaštany a rôzne kvety. Od kaštieľa smerom na juh sa nachádza zrekonštruovaná fontána a kamenná jaskyňa Panny Márie, ktorú dali postaviť františkáni. V minulosti tu nechýbala prírodná jazdiareň či labyrint. V minulosti sa tu nachádzalo i labutie jazierko, ktoré bolo súčasťou kaštieľa. Do dnešnej doby sa v parku okrem zámku zachoval domček záhradníka a domček vrátnika.
Rekonštrukcia kaštieľa
Pálfiovský rodový kaštieľ zažíval za štyri storočia svojej existencie jednu skúšku za druhou. Bol vznešeným sídlom urodzeného rodu, františkánskym internátom, socialistickou nemocnicou, vojenským skladom i príbytkom pre bezdomovcov. Od roku 2007 však patrí mestu, ktoré ho postupne rekonštruuje a sprístupňuje verejnosti. Za to už získalo aj ocenenie Ministerstva kultúry Slovenskej republiky. Odhadované náklady na rekonštrukciu celého objektu hovoria o miliónoch eur. Samospráva sa snaží čo najmenej zaťažiť mestský rozpočet a využíva preto najmä rôzne granty a fondy a tiež podporu sponzorov. Pomocnú roku však podávajú aj samotní obyvatelia mesta a milovníci histórie. Zapájajú sa do dobrovoľníckych prác a prispievajú aj do zbierky na rekonštrukciu kaštieľa. Mesto vyhlásilo dobrovoľnú verejnú zbierku na obnovu objektu, ktorej výťažok bude venovaný výlučne na obnovu Pálfiovského kaštieľa.