Fue la más importante fortaleza de la Ribeira Sacra y tuvo un papel muy activo y relevante en los diferentes conflictos que se desarrollaron en la zona durante la Edad Media en especial en la llamada Revuelta Irmandiña, durante la cual fue parcialmente destruido.

El castillo tiene una planta poligonal y dos líneas de murallas. En el interior hay dos grandes torres  La muralla esta almenada y tiene paso de ronda. 

Es de tipo palaciego y en ella se halla un gran salón. Con grandes corredores y ventanas con asientos.

La concha del Camino de Santiago (de vieira) se encuentra tallada en varias piedras. También se observa  una estrella de cinco puntas que parece indicar la presencia de judíos en la localidad.

La muralla exterior, jalonada de saeteras, rectangulares y en cruz, y de troneras, tiene tres torres cuadrangulares, en una de ellas se abre un pequeño acceso, y se corona con la llamada torre del reloj. En el patio de armas hay un gran aljibe y un horno.