
Negli anni Trenta del Cinquecento il fortilizio fu trasformato in residenza nobiliare da Giulio I Bufalini e dal fratello, lโabate Ventura. Il progetto del palazzo fu opera dellโarchitetto fiorentino Giovanni di Alesso, detto Nanni Unghero e i lavori furono ultimati intorno al 1560. Durante lโultimo decennio del Seicento e i primi anni del Settecento, il palazzo divenne unโamena villa di campagna, secondo il progetto dellโarchitetto-pittore tifernate Giovanni Ventura Borghesi. Nel 1988 venne acquisito dallo Stato e fu adibito a museo. Al suo interno si possono ammirare le sale affrescate da Cristofano Gherardi, tra gli allievi prediletti di Giorgio Vasari, la sala del trono o quella delle donne famose, ma anche gran parte degli arredi come la culla del cardinale. Il giardino intorno al castello รจ un tipico esempio di giardino allโitaliana con il suo labirinto e il roseto, la galleria vegetale detta voltabotte, le fontane e il frutteto.