Il castello delle Pietre venne edificato dai Normanni nel 1062 attraverso l’utilizzo di blocchi calcarei provenienti dall’anfiteatro.
Il castello nel 1400 fu la residenza della famiglia Marzano, successivamente passò alla famiglia Di Capua e poi ai Duchi di Migliano.
Dell’originaria struttura si conservano i resti della cinta muraria, una parte del corpo di fabbrica principale e una torre quadrata in tufo con tre finestre bifore, feritoie e merli ghibellini a coda di rondine realizzati nel 1875, mentre, al periodo aragonese, risalgono le otto finestre collocate nella parte centrale.