Il palazzo d'Avalos, comunemente conosciuto come il Castello di Procida, è situato su una parete tufacea a picco sul mare, alle cui spalle si apre il centro abitato.
L’edificio venne edificato intorno al 1563 su commissione del cardinale Innico d'Avalos, la cui famiglia governò l'isola fino all'arrivo dei Borboni nel 1734.