Il Castello di Gaeta che si estende dal convento di San Domenico sino al punto più stretto del promontorio Gaetano, si pensa sia stato edificato tra il VI e il VIII secolo, anche se è menzionato per la prima volta sotto Federico II, ossia tra il 1197 e il 1250.
Il fortilizio consta di due edifici: uno superiore di forma rettangolare; e uno inferiore di forma irregolare.
L’edificio superiore denominato castello aragonese o Alfonsino, è caratterizzato da torri cilindriche, delle quali una sovrasta per altezza le altre, e la sua pianta rettangolare è delimitata da robuste costruzioni; la struttura presenta, anche, cinque speroni e ampi fossati.
L’edificio inferiore, denominato castello angioino, è caratterizzato da torrioni a forma di cono tronco, dei quali uno si erge su tre piani ed è sormontato da una cupola.
Al piano superiore di questo secondo edificio, Ferdinando II fece realizzare nel 1849, una cappella anche conosciuta come la parrocchia del castello.
entrambi gli edifici sono collegati tra loro da un corridoio a piano inclinato.
Attualmente il castello è sede di una caserma militare.