Se cree que el Castillo actual fue ordenado construir en el año 1.434 por el Condestable de Castilla D. Álvaro de Luna, quien resultaría sentenciado y decapitado en Valladolid en el año 1.453 acusado de robo -en aquellos entonces éste tipo de cosas se castigaban algo más que ahora-. Con anterioridad debió existir algún torreón o construcción militar procedente del reinado de Alfonso VII en el mismo lugar.

La fortaleza, construida en piedra berroqueña, es de planta cuadrada con una torre del homenaje que sobresale ligeramente de otras tres torres circulares más una cuarta con función de torre albarrana unida al primer piso. Entre sus moradores más importantes destaca la reina Isabel la Católica que lo ocuparía antes de ser proclamada reina. Durante la guerra civil española fue residencia de la Legión Cóndor. Se encuentra en perfecto estado y es visitable.