El actual Castillo está construido sobre un castrum romano, del cual se conservan sus torres. Dentro de esta fortificación se construyó un granero que posteriormente convertirían en una iglesia de tres naves, de estilo románico, llamada de San Miguel. En el siglo XV se inicia la construcción del Castillo que oculta la iglesia, para defensa de la plaza. Los muros exteriores y dependencias militares se levantaron entre los siglos XV y XVI. Es propiedad del Obispado de Segovia, con cesión al Ayuntamiento por 30 años.  Está en buen estado de conservación y se puede visitar en los horarios establecidos.