Il castello venne edificato nella seconda metà del XV secolo su commissione di Alfonso d'Aragona, e su progetto di Francesco di Giorgio Martini, al fine di difendere e controllare la città.
Alla seconda metà del Cinquecento risalgono i lavori di ristrutturazione ad opera degli architetti militari spagnoli, ai quali si deve la demolizione del mastio centrale, lo spostamento dell’ingresso dal centro della facciata alla torre sinistra, e infine l’aggiunta lungo le mura occidentali di una torre.
Al 1946 risale il crollo dell’ala settentrionale durante i bombardamenti del Secondo conflitto Mondiale.
Attualmente la struttura versa in una situazione di degrado dovuta al totale abbandono.