Il palazzo D'Avalos ubicato in Piazza Pudente, venne edificato intorno al 1300 sui resti di un edificio del XIV secolo.
Ampliato nel 1427 per volere della famiglia Caldora, il palazzo verso la fine del '400 divenne di proprietà della signoria di Innico II d'Avalos, alla quale si deve lo sfarzo e il lusso nel rinnovamento della struttura.
Incendiata dai turchi, la chiesa venne ricostruita dai D'Avalos ad opera di Fra' Valerio De Santis; a questo periodo risalgono alcune trasformazioni strutturali, quali l’aggiunta di un portico a quattro arcate nel cortile, e la realizzazione della terrazza per gli appartamenti destinati ai marchesi.
A partire dal 1729, il complesso venne abbandonato; la ripresa avvenne ai giorni nostri con la collocazione al suo interno della sede del Museo Archeologico e della pinacoteca della città.