El Castillo está construido en la cima de una roca situada en el centro de la población, es de planta irregular (45 x 25 metros) y un perímetro de 147 metros. Tras la restauración parcial sobresale una Torre del homenaje rectangular de 8 x 6 m. La fortaleza original perteneció al reino de Albarracín (Banu Gazlum, Banu Razín) siendo conquistada a los árabes en varias ocasiones, por El Cid en 1.099 y de forma definitiva por el rey Alfonso II de Aragón en 1.180. En 1.187 pasó a poder de la Orden Hospitalaria y posteriormente, en 1,196 a la Orden del Temple; su deterioro y ruina comenzó a partir de 1.840, cuando dejó de tener un dueño concreto. Durante la Guerra Civil se utilizó como observatorio aéreo por el ejército republicano. Parcialmente reconstruido es el monumento más importante de la Villa.