Solo quedan restos de una muralla de lo que en su día fue una fortaleza árabe, de planta cuadrada, capaz de albergar a 15.000 personas. En el lugar ya existieron construcciones militares desde el siglo VII a. de C., siendo una fortaleza árabe desde el siglo VIII. Esta fue una de las principales fortalezas del guerrillero andalusí, hispano-godo, Omar Ben Hafsún, quien se rebeló y disputó al emirato de Córdoba el Al-Andalus. En el año 899 éste se haría bautizar en la religión cristiana adoptando el nombre de Samuel; tras su muerte y la victoria de Abderramán III contra las tropas del hijo de Samuel, Comares sería recuperado por los omeyas al ser considerada una plaza principal. En la actualidad el lugar del castillo es ocupado por el cementerio del pueblo y a los restos de la fortaleza le llaman la tahona. Las vistas desde el lugar son extraordinarias.