Edificato dai Normanni nel XII secolo e restaurato per volere di Federico II tra il 1233 ed il 1240, il castello è una spettacolare testimonianza di costruzione medievale. Da ammirare il ponte in pietra attraverso il quale si accede al castello, i bastioni angolari utilizzati per la difesa della fortificazione e le numerose torri che caratterizzano la struttura quadrangolare: la torre dei Minorenni, la torre del Monaco, la torre del Vento e la torre del Semaforo. Oggi il castello è la sede della Soprintendenza per i Beni Ambientali Architettonici e Storici della Puglia ed al suo interno ospita la Gipsoteca