El castillo data del siglo XVIII y es de planta cuadrangular. Su función era defender la costa de los ataques piratas que en aquellos tiempos eran frecuentes y formaba parte del dispositivo defensivo ideado por Carlos III a tal fin. La zona asignada para patrullar era la comprendida entre la Punta del Sabinar y Balanegra, a su vez, los disparos de proyectiles desde el castillo se cruzaban con los disparados desde la Torre de Balerma. 

La distribución se disponía en torno a un patio de armas central, existiendo un cuartel de infantería, almacén de pólvora, cuadras, cuartel de caballería, capilla y vivienda del capellán; en la batería semicircular se situaban cuatro cañones.

La fortaleza sería destruida en parte por los ingleses durante la guerra de la independencia, para que no pudiese ser utilizada por los franceses, siendo reconstruida en 1.817.

En la actualidad se utiliza para actos cultirales, además de albergar un museo.