El castillo, una de las fortalezas más espectaculares del país, fue construido entre los años 1.473 y 1.496, tras recibirse la autorización del rey Juan II de Castilla en el año 1.453 para su construcción. Fue Alonso de Fonseca, sobrino del arzobispo de Sevilla, quien ordenó la construcción y Alí Caro el arquitecto, maestro alarife, que lo realizó en estilo gótico-mudéjar, utilizando tapial cubierto en ladrillo rojo para ello. La fortaleza está construida en llano, razón por la cual  el foso tiene unas medidas -en lo ancho y profundo- formidables, con un perímetro de 560 metros; tiene doble recinto, uno exterior para su defensa y otro interior con torres en las esquinas, accediéndose al castillo por una puerta flanqueda por dos grandes cubos almenados, al igual que toda la muralla. Dentro del conjunto, de planta cuadrangular, destacan las torres de Pedro Mata y la elevada torre del Homenaje -25 metros al patio de armas y 40 metros al foso-, de planta cuadrada con escalera de caracol. Lo más nuevo es su Patio de Armas, que hubo de ser restaurado tras el derribo llevado a cabo en el año 1.828 por Faustino Ruiz, administrador de la Casa de Alba, para llevarse las columnas de mármol de orden corintio y venderlas en Madrid a 40 pesetas cada una. Es una propiedad privada, de la Casa de Alba, aunque cedida en 1.954 al Ministerio de Agricultura. El conjunto de la fortaleza se encuentra en buen estado y es visitable, previo pago de la entrada.