Se levanta en el lugar conocido como Casal de Bouza , este lugar que perteneció a los dominios del Monasterio de Oseira. Se sitúa  en un lugar elevado sobre una  roca de granito que domina las tierras planas que lo rodean.

Los orígenes de este edificio son desconocidos, parece ser que perteneció al conde de Ribadavia y fue destruido por la revuelta Irmandiña en el siglo XV.

A fines del siglo XVII , después de un largo abandono formaba parte de la propiedad del Conde de Maceda, siendo objeto de  profundas reformas que le otorgaron el aspecto actual de pazo barroco y  fortificado.

Durante el siglo diecinueve, pasó por varios propietarios. En  1976 fue vendido a su actual propietario, la Diputación Provincial de Ourense, que realizó varias restauraciones hasta el año 1987. Restauraciones  que   fueron  merecedoras de la medalla de plata de la Asociación Española de Amigos de los Castillos.