Algunos historiadores afirman que por su situación geográfica originariamente pudo ser lugar de un faro fenicio o romano, sobre el que se construyó el castillo.

Mandada construir por el obispo Sisnando en el siglo X formaba parte de un sistema defensivo de las villas de la ría de Arousa, junto con las Torres del Oeste (Catoira) y la Torre de San Sadurniño (Cambados), frente a los piratas normandos y árabes, enviando señales de alerta a otras torres para prevenir un ataque por sorpresa. Su acceso, a través de un puente levadizo y rodeada de mar, la hacía especialmente inexpugnable.

Fue entregada a la reina por Doña Urraca en el año 1121, coincidiendo con el acuerdo de paz de Gelmírez. En el siglo XII fue atacada  por  piratas árabes, siendo reconstruida con posterioridad.

Los irmandiños en 1467 lo  sitian y logran su conquista atacándolo desde el mar.  Se asientan en el castillo convirtiéndolo en el último bastión de los sublevados, hasta que agotadas las defensas fueron capturados dejando el castillo totalmente en la ruina. Siendo abandonado después de estos sucesos.

Quedan pocos  restos de una torre, pero destaca una construcción en su interior, una pequeña capilla románica del siglo XII, dedicada a Santa María.

​