El Castillo, hoy desaparecido, estaba situado en un cerro junto a la actual M-823. En la parte baja, separado por la carretera, se encuentra el Santuario del Cristo de Rivas.  No se conoce la fecha de construcción, aunque posiblemente sería en época árabe. Las primeras referencias datan de tiempos de Alfonso VII, año 1.154, en que sería donado por el rey al arzobispo de Toledo. Se conoce que ya en el siglo XVI estaba en ruinas. Si se le pone un poco de imaginación podrán apreciarse un foso y un aljibe; también alguna cueva, aunque esta no tiene necesariamente que ser de la época del castillo.