Los restos del castillo datan de época nazarí, aunque el origen del castillo es anterior, siendo, en cualquier caso, una construcción árabe de forma rectangular. Está situado en la cima de una peña desde la que se domina la población y en el se aprecian dos recintos, el primero corresponde a lo que debió ser el castillo y el segundo lo formaría la muralla que rodeaba la medina. La Fortaleza fue conquistada en el año 1.485 por el ejército cristiano y abandonada pocos años después. A los pies de la fortaleza se construyó la ermita de Ntra. Señora de los Remedios, para lo cual fueron utilizados materiales de la muralla y del castillo. En la actualidad es una ruina consolidada a la que se puede acceder por la calle Pilar Alto que conduce a la ermita y desde ahí al castillo, o por la calle Puerto rodeando la montaña, esta segunda opción es la aconsejable si se accede con coche.