Se supone que  el nombre de Cofrentes deriva del nombre latino "Confluentum" (confluencia) en clara alusión a que el sitio es el lugar de confluencia de dos ríos (el Júcar y el Cabriel).

En la parte más alta de la localidad, sobre una de las chimeneas del volcán del Cerro de Agras y a 95 metros, sobre el nivel del cauce del río Cabriel se encuentra este castillo roquero de origen árabe. Después de la conquista cristiana perteneció a los reinos de  Castilla y de Aragón y tuvo distintos propietarios, atraídos por el hecho de ser centro de recaudación de impuestos, ya que Cofrentes era cabeza de cuarenta pueblos, dos aldeas y pequeños poblados. Ha servido de Castillo-Fortaleza, por lo escarpado e inaccesible del lugar y también como  Palacio-Residencia, en una época de esplendor económico entre los siglos XVI y XVII.

Es de planta rectangular con dos cubos ocho y torreones de mampostería.

Tras los destrozos de acontecimientos como la Guerra de Sucesión, de la Independencia y las Carlistas, se reformó  en los siglos XVIII y XIX, teniendo en cuenta los elementos visibles, excepto el remate de la Torre del Homenaje, que  era en chapitel de madera y se optó por una estética defensiva. 

El Reloj recientemente restaurado se encuentra en la planta superior de la torre

Fue declarado Bien de interés cultural con  fecha 12/9/2001.

​

​