Durante  los siglos XVII y XVIII eran constantes las invasiones e incursiones marinas de la costa gallega por parte de corsarios ingleses y franceses. Para garantizar la seguridad de la población y de las riquezas de la tierra a lo largo de las Rías Altas se construyeron una serie de baluartes defensivos. Una de esta fortalezas fue el castillo de San Carlos,  construido en la población de  Finisterre . Su construcción concluyo durante el reinado de Carlos III. Su adaptación a las exigencias del terreno rocoso le otorga una forma irregular ya que se encuentra al borde del mar. Estaba formado por  tres troneras en tres direcciones y una nave central para la tropa. Fue incendiado durante la invasión napoleónica  reconstruyéndose años después.

Actualmente alberga el Museo del Mar.