Situado dentro de la población, en la plaza de la Libertad. Data del siglo XVI, año 1507, construido sobre otra edificación de origen musulmán por orden del primer marqués de los Vélez, Pedro Fajardo. Su planta es un rectángulo irregular y en el se contiene la Torre del Homenaje, Palacio del Marqués, Patio de Armas, Anfiteatro y Casa de la Tercia.

A lo largo de su historia ha tenido entre otros usos el de residencia para la nobleza, almacén recaudador de tributos, cárcel, etc.

En la actualidad se utiliza para actividades culturales - museo, biblioteca, oficina de turismo-

y policía municipal.

Tanto la muralla perimetral como las construcciones del interior han sido restauradas y se encuentran en buen estado.  El acceso es gratuito

​