Se ubica en lo alto de una roca con vistas a la costa, así como a la Torre del Rey desempeñando desde ambas la defensa y protección de la población. Materiales hallados en los yacimientos arqueológicos, que  se remontan a la Edad del Bronce demuestran la existencia de población en tiempos prehistóricos en la zona.

A finales del siglo XI (1090), pertenecía a El Cid, aunque su origen es musulmán, más tarde pasó a manos de Pedro I de Aragón. Los almorávides lo dominaron de nuevo; siendo reconquistado más tarde, pasando a estar bajo el dominio de la Orden de Malta en 1149, para pasar a  los Caballeros Templarios en 1169. Pero hasta 1233 no fue una zona totalmente cristiana. ​En el siglo XV para  contener la despoblación, se construyó un muro, , que a modo de muralla  servía para defender a los nuevos pobladores que se establecían. Contaron, también,  con una iglesia fortificada, la actual Capilla de la Virgen de la Paciencia​. Tras el asedio del Mariscal Suchet, durante las Guerras Carlistas, estas construcciones fortificadas  quedaron prácticamente derruidas .

La estructura defensiva  del castillo se componía de seis torres abiertas en abanico y una, la  del homenaje, de planta trapezoidal. Las torres vigía de la costa cercanas contribuían en gran parte a su defensa. En el XIV se realizaron  reformas y en el XVI se le colocó la artillería.

Los planos originales del castillo acabaron en manos de las tropas de Napoleón y actualmente los tiene el gobierno francés.

​Se encuentra en situación de abandono.