Los escasos restos del castillo se encuentran en la plaza de la Axarquía; se identifican algunos restos de la muralla unidos a viviendas próximas y un monolito con un plano del castillo en la plaza indicada. En en siglo XV, tras la conquista de la Axarquía por los Reyes Católicos, la Torre del Alcozaiba (así se llamaba entonces a la fortaleza) fue cedida a Ruy López de Toledo. A finales del siglo XIX el castillo desaparecería como fortaleza.