Původně hrad založený ve 13. století, v 16. století za Robmhápů ze Suché přestavěn na zámek. Z významných majitelů uveďme rod Španovských z Lisova a Zikmunda Myslíka z Hyršova, císařského polního maršálka a válečného radu.
Roku 1708 přicházejí do Pacova bosí karmelitáni a šlechtické sídlo po roce 1718 postupně mění v klášter s kostelem sv. Václava. Plány na další stavební akce navrhl v roce 1739 slavný architekt a stavitel Kilián Ignác Dientzenhofer. Za Josefa II. byl klášter zrušen (1787) a budova znovu užívána jako zámek. Kvadratický uzavřený půdorys otevřela demolice východního křídla na konci 19. století.
V 60. letech 19. století sloužila tato část zámku jako škola a byt pro učitele. Tady se 26. 2. 1864 v rodině učitele Jana Sovy narodil básník Antonín Sova, kterého připomíná pomník od J. V. Duška na valech. Zámek vlastnila do května 1945 rodina Weiss von Tessbach, pak přešel pod státní správu a v r. 1947 ho obsadila vojenská posádka. Armáda objekt opustila v r. 1992, ale teprve v r. 1997 byl převeden do majetku města.
V současnosti zde sídlí Městský úřad Pacov, Městské muzeum Antonína Sovy v Pacově, Městská knihovna Pacov a Informační centrum.
