Il castello Caldoresco venne costruito nella prima metà del XV secolo su una preesistente fortificazione di proprietà di Giacomo Caldora.
Dal 1605 al 1697 ospitò il tribunale e il carcere della città, mentre dopo il restauro del 1713 venne adibito ad abitazione privata.
La struttura a pianta quadrilatera è formata da quattro fabbricati a base scoscesa disposti intorno ad un cortile rettangolare.
Al 1439 risalgono i bastioni cilindrici con tre punte sporgenti quadrangolari.
Dell’originaria fortificazione si conservano l’impianto quadrangolare e due delle quattro torri angolari cilindriche, mentre i bastioni angolari a mandorla e le cortine murarie su beccatelli sono il risultato dei lavori di rinnovamento eseguiti alla fine del XV secolo su commissione di Caldoresco Innico D'Avalos.
Attualmente il castello si presenta caratterizzato da bastionature aragonesi che delimitano il precedente nucleo angioino, alle quali si aggiungono le sopraelevazioni esterne realizzate intorno al XVIII secolo.