Se trata de una construcción de planta cuadrada con torreón en cada una de las esquinas. Su origen data de época de la reconquista, siglos XI o XII, si bien de la construcción inicial no queda nada. Ya en el siglo XVI el edificio se encontraba en ruinas, siendo dueño entonces el duque de Tovar. Hasta la desamortización de 1.865 el castillo-palacio fue propiedad, entre otros, del arzobispado de Toledo, de Manuel Godoy y del rey Carlos IV. Subastado y adjudicado en 1.869 fue adquirido en 1.902 por un antepasado de los actuales propietarios. En la actualidad el edificio se dedica a la realización de bodas y otros eventos.