Este castillo, se encuentra sobre un pequeño montículo, en el que existió un poblado conocido como Castro de Baroncelli de época prerromana, en el Valle de Monterrei, valle fértil que forma el Río Támega

En esta misma ubicación hubo un castillo perteneciente al Monasterio de Celanova del que  Doña Urraca se apropió durante un tiempo (1145) para restituirlo después, estando en poder de  la corona hasta el siglo XV.  Durante el conflicto de Portugal y  la Guerra de Secesión, en los siglos XVII y XVIII, el castillo sufre reformas en sus defensas. También tuvo un papel importante en la guerra de Independencia contra los franceses pero  fue pronto tomado por el Mariscal Soult. La fortaleza está considerada como la plaza fuerte gallega más importante y defensivamente más interesante estando rodeada de un triple recinto defensivo, compuesto de muralla, contramuralla y murallón. En el primer recinto se sitúan la ermita, las torres, el castillo-palacio de los Condes (s. XV), con arcadas renacentistas,  adosado a la Torre de las Damas y la Iglesia de Santa María de Gracia de los siglos XIII o XIV.

En el segundo recinto se localizan varias edificaciones de diferentes épocas de la historia. Destaca el Hospital de Peregrinos, del siglo XIV, que conserva su bella portada.

Ha pertenecido a grandes linajes como los Ulloa, los Zúñiga, los Viedma, los Fonseca, los Acevedo  y ultimamente a los Duques de Alba.

​

​

​