Il castello di San Nicandro Garganico situato nel centro storico dell'omonima cittadina, consisteva originariamente in una torre di avvistamento edificata dai normanni al fine di stabilirvi una guarnigione di soldati.
Durante il dominio degli Aragonesi, alla torre venne affiancato il castello con torri circolari sul versante Sud e lungo la muraglia occidentale.
Al XVI secolo, invece, risale la realizzazione di una loggia che collegava il castello con un palazzo situato tra la porta e le mura Est della fortezza stessa; a questo periodo risale anche la costruzione di Palazzo Fioritto; sede della Biblioteca Comunale "A. Petrucci" e del Museo Etnografico della Civiltà Contadina.
Durante il periodo Barocco e intorno alla metà del Novecento, la struttura difensiva fu sottoposta a interventi di rifacimento finalizzati a trasformarla in una residenza privata; oggi è di proprietà delle famiglie Centulio e Tozzi.
Dell’originaria fortezza a base trapezoidale, si conservano due torri a base quadrangolare, situate sul lato settentrionale, e altrettante torri a base circolare ubicate alle spalle della chiesa madre.