Es una fortaleza del siglo XII, que se terminó de construir en el siglo XVI. En su estructura, se pueden diferenciar dos períodos, el medieval y el  renacentista, aunque en el solar ya había un castro o castellum en el S.II a.C. En el 60 a.C, cuando Julio César conquistó Bayona, tuvo que perseguir a los rebeldes hasta sus refugios en las Islas Cíes. Romanos, visigodos y musulmanes dejaron su huella en el castillo.

Fernando I de Portugal fijó en él su residencia  cuando en 1331 la fortaleza fue atacada por la flota portuguesa del almirante Peñaza.

En los S. XV-XVI se convirtió en un próspero enclave comercial, gracias al privilegio que Juan II de Castilla concedió a Bayona y a La Coruña  de ser los únicos puertos gallegos que podían comerciar con el extranjero. Soportó también los ataques piratas de Francis Drake, y en marzo de 1493 Martín Alonso de Pinzón retornó a las costas de Baiona tras su viaje a América, convirtiendo a esta villa en la primera de Europa que supo la noticia del descubrimiento del Nuevo Mundo.

Desde 1966 alberga un Parador Nacional, el Parador del Conde de Gondomar.

​