Sobre un cerro del cortado del río Sellent, en lo alto de la población, se encuentran las ruinas de este castillo, que ejercía funciones de vigilancia y protección.

En el siglo XVI la familia Pardo de la Casta, señores del lugar, construyeron un castillo- palacio sobre los restos de otra primitiva fortaleza islámica, utilizándole como residencia y símbolo de poder del señorío.

Durante la Guerra de Sucesión en 1705, el señor de Bolbaite, Don Luis Pardo de la Casta era partidario del archiduque Carlos de Austria. Cuando Valencia se rindió a Felipe V en 1707, la familia Pardo de la Casta huyó a Flandes.

Existen dos torreones cuadrados en la parte norte del recinto principal uno de época cristiana y el otro de la islámica.

Se observan en el interior restos de arquitectura gótica, así como yeserías marcando huecos de puertas y ventanas de gran calidad. También destacan la escaleras de caracol labradas en piedra y la escalera gótica que da entrada al edificio, y que permanece en píe.

Ocupa una superficie de 568 m². 

El Ayuntamiento proyecta su rehabilitación.

Fué declarado B.I.C.

​