Il castello medievale che sovrasta la città di Castellammare di Stabia venne costruito dal Duca di Sorrento, successivamente restaurato da Federico II di Svevia, e in ultimo ricostruito dagli Angioini.
Rinforzato per volere di Alfonso D'Aragona, il castello iniziò il suo lento declino intorno al XVIII secolo, che durò fino ai primi anni del Novecento, quando venne acquistato da Eduardo De Martino, e restaurato e trasformarlo in residenza privata.
Originariamente la fortezza era dotata di una cinta muraria che terminava con una torre di avvistamento.