Situada en el cerro del Castellar se trata de una construcción árabe de los siglos X-XI de la que solo quedan algunos restos de sus murallas. Junto al Castillo fue construido en el primer tercio del siglo XIX el Santuario de la Virgen del Castillo. En la actualidad se realizan trabajos arqueológicos para la recuperación de la medina (Yakka) situada en la cara sureste del cerro, dentro de la muralla.