Construido por Gonzalo Ozores de Ulloa a finales  siglo XIV. Con funciones militares de custodia del Camino de Santiago y de cobro de portazgos, en 1484 pasa a ser propiedad de los condes de Monterrei. Con el tiempo, su  función principal acabó derivando en núcleo de producción agropecuaria de las tierras vinculadas a la propiedad de la fortaleza, en la rica comarca lucense de A Ulloa. 

Después de varios cambios de dueño, no exentos de intentos de venta ilegítima etc. en el año 2009

por disposición testamentaria de Manuel Taboada, su último propietario, pasa a ser propiedad de los Hermanos Misioneros de los Enfermos Pobres, organización benéfica de la ciudad de Vigo, con quien en 2012 la Junta de Galicia llega a un acuerdo para comprar el castillo junto con los terrenos adyacentes por una cuantía algo superior a los 3 millones de Euros.

Este edificio sobrevivió a la Revuelta Irmandiña.

Sobre el arco de medio punto que sirve de  acceso se puede apreciar el escudo de armas de los Ulloa Junto a la entrada se encuentra la capilla de San Pedro, que data del siglo XII,

Cuenta con una planta cuadrada de cuatro torres en los vértices y  la torre del Homenaje en el centro