Parece que fue construida en el siglo XIII. Junto al castillo se formo la villa, que tuvo varios nombres: Villa de Alba, Villa Álvaro, Santa María de Montenegro y finalmente Villaba de Montenegro. Se supone que fue objeto de una gran reconstrucción por las grietas de la parte más primitiva y las uniones de los muros anteriores con los actuales. Aparece la figura de un jabalí en una placa lo que la vincula con los Andrade. Su estructura es  hexagonal. El balconcillo de una de sus caras mantiene un gran parecido con el de la Torre de los Andrade en Pontedeume. Como tantos edificios nobles en Galicia fue destruido por los Irmandiños en el siglo XV, siendo reconstruido poco después.

Actualmente es la sede del Parador Nacional de Turismo.