Los restos de esta histórica fortaleza de origen medieval se encuentran en lo alto de una loma, desde donde se domina el Valle de la Mahía y parte del de Barcala. Por los restos encontrados y debido a su estratégica  situación, se supone hubo asentamientos desde épocas primitivas.  El castillo original c fue construido en el siglo IX.

En el siglo XV, gracias al enfrentamiento entre los nobles y el clero gallego, el vizconde de Fisterre, se autoproclamó conde de Altamira. En años posteriores el castillo llego a tener seis torres.

En el siglo XVII comenzo el deterioro de la fortaleza debido al traslado de los condes al  cercano Pazo de Tralouteiro.  Sus piedras fueron objeto de venta para hacer casas particulares y cobertizos e incluso se utilizaron para completar el Santuario de Santa Minia.

Actualmente el conjunto se halla en claro deterioro y sus piedras están demasiado cubiertas de vegetación.