Esta situado al sur de Pego, en lo alto de una pequeña colina, en la carretera que se dirige a Vall de Ebo.

Su origen es  musulmán. El territorio fue conquistado por los árabes hacia el año 726.

Data del siglo XII y estaba adscrito a la medina islámica situada en lo que hoy sería la propia ciudad de Pego, pertenecía a la Taifa de Denia. Jaime I  lo conquistó hacia el año 1.240, quedando incluido en la corona de Castilla según el pacto con  Al-Azraq en el año 1.244. 

La baronía de Pego sería creada en 1.262.  La propiedad de la ciudad y del castillo la ostentarían Constanza de Aragón, la reina Blanca de Aragón, el infante Pedro, la familia Cardona, los Vilanova y los Centelles, duques de Gandía.

La expulsión de los moriscos produjo sublevaciones en 1.609 y, tras la reducción de los rebeldes, quedó prácticamente despoblado el castillo y la población de Pego.

Felipe V le otorgo el título de “Muy Noble Villa”, por su actuación en la Guerra de Sucesión.

El estado actual del Castillo de Ambra es de semiruina. Aunque se trata de una importante fortaleza islámica no se ha acometido una restauración de importancia hasta la actualidad.

​