​

Su origen data de los siglos XI y  XII. Parece ser que en el siglo XV fue reconstruido  por Enrique II, y cedido conjuntamente con el señorío a D. Pedro Ruiz Sarmiento (linaje noble gallego), nombrándole después conde de Ribadavia con lo que la villa  paso a depender del  condado y no directamente de la corona  (perdiendo su realengo). Sigue conservando una necrópolis de piedra del siglo IX-XII. En la puerta principal están los escudos de los Sarmiento y Fajardo. Faltan las almenas y la torre del homenaje. Los capiteles de las columnas que decoraban el interior del castillo están practicamente  destruidos en su  totalidad.En el siglo XVII fue abandonado cuando los condes trasladaron su residencia al palacio  situado en la plaza mayor de la villa, aunque estaba comunicado con el castillo por medio de una puerta.
La muralla conserva las puertas,  de la Cerca (puerta de entrada al castillo), la Nueva (camino al río) y la Falsa (camino al molino). En origen existían 5 puertas.

En su zona más alta tiene una importante vista de los rios  Avia y  Miño. 

Hoy en dìa se están acometiendo obras de restauración en su totalidad. 
.