La fortaleza es una construcción árabe del siglo IX, reconstruida más tarde en el siglo XIII por el rey nazarí Alhamar. Se tiene constancia  de asentamientos en el lugar desde el año 1.500 a.C., habiendo sido poblada entre otros por fenicios,romanos, cartagineses y árabes, estos últimos la llamaron Medina Arxiduna, de ahí en nombre actual.  A lo largo de su historia fue muy importante en distintas épocas y con diferentes pueblos debido a su estratégica situación. En el año 756 fue proclamado emir Abderramán I, en esta fortaleza.. En el año 1.462 sería conquistada definitivamente por los cristianos al mando del gran maestre de la Orden de Calatrava Pedro Girón.

Del importante castillo que antaño tenía doble recinto amurallado y puertas de acceso acodadas han sido pocos los restos que han llegado a nuestros días, tan solo algunos lienzos de muralla y la llamada Puerta del Sol y torre principal. En su interior fue construido el Santuario de Nuestra Señora de Gracia, en el mismo lugar que anteriormente ocupó la Mezquita. Los restos existentes están consolidados.