La Rocca situata in un luogo di importanza strategica, è il risultato di quattro fasi costruttive avvenute nell’arco di quasi due millenni.
Della prima fase risalente al 280 a.C. si conservano dei massicci blocchi tufacei visibili nella parete nord-ovest della corte. La seconda fase costruttiva avvenne tra il 1363 e il 1367 e fu commissionata dal cardinale Egidio Albornòz; a questo periodo appartiene il basamento della torre medievale quadrangolare visibile nel lato nord-est.
La terza fase risale al periodo in cui la fortezza cadde nella mani di Pandolfo III Malatesta, che commissionò la costruzione di un nucleo centrale a forma quadrangolare con bastioni rettangolari ai vertici e cortine laterizie a piombo con beccatelli e merli ghibellini.
Seguì nel 1450, la ristrutturazione dal parte di Sigismondo, che intervenne rinforzando i bastioni angolari mediante dei conci sagomati di arenaria, e una scarpatura obliqua.
Successe Giovanni della Rovere che commissionò i lavori di ricostruzione della struttra agli architetti Luciano Laurana e Baccio Pontelli.
A questo periodo risale la realizzazione del fossato perimetrale collegato alla terraferma da un pontile con un ponte levatoio, la creazione di nuove cortine terrapienate, la costruzione di quattro torrioni cilindrici angolari e scarpati sorretti da beccatelli lapidei decorati con caditoie.
L’interno del nucleo centrale della rocca è caratterizzato da tre piani residenziali collegati da una scala a due rampe con accesso dal cortile.
Il piano inferiore era adibito alla guarnigione ed agli ufficiali; i locali superiori erano adibiti alla rappresentanza e residenza del Duca, mentre i locali sotterranei vennero utilizzati come carcere di rigore.
All’interno della rocca si trova anche una cappella di corte quattrocentesca, a pianta quadrilatera con volte a calotta .