Il castello di Barletta fu edificato tra il 1046 e il 1050, per volere di Pietro il Normanno, al fine di difendere il territorio da potenziali attacchi, ed ampliato tra il 1156 e il 1162 ad opera di Guglielmo il Malo, al quale si devono le due torri, collegate tra loro da una muratura, a cui ne sarà aggiunta una quarta, lungo il lato sud-ovest.
La fortezza venne trasformata in una reggia, tra il 1224 e il 1228, ad opera di Federico II, che intervenne abbattendo l'area orientale e costruendo la sua domus federiciana.
Nel 1250 con la morte di Federico II, il castello cadde nelle mani di Carlo I d'Angiò, al quale si deve la costruzione del palatium angioino sul lato nord (oggi scomparso), la sostituzione della torre normanna a sud-est con una torre tonda, la realizzazione del fossato, l'edificazione di un muro esterno di difesa ad ovest, e all'edificazione di un’ulteriore porta d'accesso denominata Porta Trani.
Seguì un lungo periodo di abbandono e degrado, che terminò solo con l'arrivo degli Aragonesi, ai quale si deve il rafforzamento della struttura per far sì che questa potesse resistere agli attacchi dei cannoni.
Tra il 1529 e il 1598, Carlo V commissionò i lavori di inglobamento murario delle vecchie strutture angioine, nonché l'abbattimento degli elementi architettonici che non davano l'idea di grandiosità, al fine di conferire a castello l’attuale aspetto morfologico.
La struttura di forma quadrangolare, presenta quattro bastioni pentagonali agli angoli, una serie di cannoni pronti alla difesa, un fossato su tre lati, e il mare sul lato nord.
Al 1622 risalgono i lavori di ammodernamento commissionati da Filippo IV di Spagna, al quale si deve anche la realizzazione della sala degli artificieri.
Tra il 1860 e il 1870 la fortezza fu adibita a carceri militari, mentre nel 1876 diviene di proprietà del Comune di Barletta.
Nel 1915, l’edificio subì un attacco da parte delle armate austriache, durante il quale sei colpi di cannone distrussero la facciata della cortina e del bastione settentrionale, mentre nel 1943, durante la Seconda guerra mondiale, ospitò la sede di un presidio militare pronto a resistere ai tedeschi.
Dal 1973 al 2002, il castello è stato sottoposto a interventi di restauro, durante i quali si è provveduto alla riqualificazione dei Giardini del Castello, trasformati in parco con aree attrezzate.
Alla fortezza si accede mediante il portale d'ingresso situato al centro della facciata meridionale, sovrastato da un architrave decorato, che immette in un atrio coperto con volta ogivale che conduce al cortile centrale del castello.
Il prospetto ad ovest presenta una scala monumentale che conduce ai piani superiori; la facciata a nord accoglie due archi, che conducono alle casematte interne ai bastioni angolari, e tre aperture che permettono di raggiungere i locali del piano terra; il prospetto ad est ospita una scalea monumentale che conduce al terrazzo; mentre la facciata a sud ospita un portico a tre arcate, di cui la prima arcata immette nella cappella, al contrario la terza arcata è impreziosita da una colonna miliare proveniente da Canne.
Lungo il cortile del castello si aprono anche due accessi che immettono nei sotterranei, preceduti da un vestibolo alla destra del quale si raggiunge la casamatta del bastione di Sant'Antonio a pianta circolare, copertura da una calotta con al centro un foro.
A nord del vestibolo si apre uno spazio che conduce alla casamatta del bastione di San Vincenzo, seguito da un corridoio che permette di raggiungere la casamatta del bastione di Santa Maria.
Nell'ala sud orientale del castello vi sono gli ambienti un tempo sede della domus federiciana, che attualmente ospitano la biblioteca comunale di Barletta.
La prima sala è quella della reception, affiancata sul lato sinistro dalla prima sala lettura, dedicata all'emeroteca.
Dalla reception si accede al piano superiore, dove si trova una sala lettura di forma rettangolare, coperta da una volte a botte sorretta da archi a sesto acuto.
Segue un’altra sala lettura ubicata nella casamatta del bastione dell'Annunziata.