Il castello di Conversano fu edificato durante il dominio normanno, ma tra il XV e il XVII secolo fu sottoposto a interventi di rifacimento finalizzati a trasformarlo in una fastosa dimora.
Dell’originaria struttura si conserva un torrione cilindrico risalente al XIV secolo, un bastione poligonale del 1460, tre torrioni quadrati collocabili tra l’XI e il XII secolo, nonché resti di finestre ogivali e circolari.
Al 1710 risalgono la porta d'ingresso, il muro di cinta del cortile e la galleria, realizzati su commissione della contessa Dorotea Acquaviva.
Il portale barocco rivolto su piazza della Conciliazione, conduce al cortile interno porticato, di cui due lati sono impreziositi da una loggia.
Il castello accoglie internamente, la pinacoteca comunale dove sono esposte importanti opere e tele raffiguranti episodi della Gerusalemme Liberata, opera di Paolo Domenico Finoglia.