La Rocca Albornoziana situata sul colle Sant’Elia, è una fortezza edificata tra il 1359 e il 1370 su commissione di papa Innocenzo VI e sotto la direzione dell'architetto Matteo Gattaponi, il cui progetto prevedeva la realizzazione di una struttura imponente e al tempo stesso elegante.
La fortezza dal perimetro rettangolare con quattro torri angolari, consta di due ambienti separati da un corpo mediano collegato ad altre due torri: il Cortile delle armi, e il Cortile d'Onore intorno al quale si elevano gli edifici destinati ai governatori della città.
Il cortile d’onore è delimitato da un doppio loggiato realizzato dal Vasari, su progetto di Bernardo Rossellino; da ammirare al centro del cortile un pozzo esagonale sul quale è collocata una cisterna che anticamente veniva utilizzata per la raccolta dell'acqua piovana.
Entrambi i cortili sono collegati per mezzo di un fornice la cui volta accoglie il dipinto dello stemma di papa Gregorio XIII; mentre lateralmente spiccano gli affreschi delle sei città dello Stato pontificio.
Lo scalone d'onore conduce al piano nobile, dove si trova il Salone d’Onore la cui porta è in pietra cinquecentesca.
Segue la camera pinta situata all'interno della torre maestra, dove alloggiava il castellano, e dove si possono ancora ammirare due cicli pittorici.
Dal 1817 al 1982 la fortezza è stata adibita a carcere.
Dal 2007, invece, accoglie la sede permanente del Museo nazionale del Ducato di Spoleto.