El Castillo se ubica sobre un cerro rocoso y su construcción data -en su mayor parte- del siglo XVI, ya que en el año 1.520, el primer marqués de los Vélez, Pedro Fajardo Chacón, ordenó la reconstrucción del Alcázar musulmán existente levantado siglos antes sobre una fortaleza de época romana. Entre las impresionantes ruinas que han llegado a nuestros días se pueden apreciar murallas árabes y construcciones cristianas. Dentro del Castillo hay una lápida en la que puede leerse que la fortaleza fue construida en tiempos de Carlos V, por el Marqués Pedro Fajardo, sobre las ruinas de otra anterior, de época romana. Es una propiedad privada.