Edificado sobre una escarpada roca no se conoce con exactitud quienes lo levantaron, aunque su construcción puede datarse en el siglo IX, durante la dominación árabe,siendo esta la principal opción. Se le conoció con el nombre de Sujayra, del cual proviene el nombre actual del pueblo.

Debido a su contorno, la fortaleza era inexpugnable por algunos laterales y de facil acceso por otros, a pesar del aspecto de "nido de águilas" que se percibe mirando su alta y estrecha Torre del Homenaje. Fue conquistado por Fernando III.

Reformado en 1576 por Hernán Ruiz, se convirtió en palacio de estilo renacentista, pasando a ser palacio de los señores de Zuheros. Además del castillo se conserva el lienzo de muralla que parte del mismo, jalonado de otras torres y almenado todo el, al igual que la Torre del Homenaje.

La fortaleza actual es el resultado de la última reforma llevada a cabo en 1.960.

​