Se trata de un castillo medieval del siglo XIV perteneciente a la nobleza familiar de los Andrade (señores feudales). De planta  poligonal, conserva la torre del homenaje de 18 metros de altura y planta cuadrada. 

La revuelta de los Irmandiños, vasallos oprimidos que se levantaron en armas, origino la huida de Nuño Freire de Andrade al castillo de Andrade (Pontedeume). Los irmandiños serían vencidos. Anualmente se celebra este hecho histórico con el nombre de Festival Irmandiño (en la tercera semana de agosto) conmemorando y reivindicando, con un carácter festivo, este movimiento, con sus características de unión y defensa de los intereses populares». 

Su actual propietario es la Casa de Alba.