El reino taifa de Murcia en el año 1172, tras la derrota almohade en la batalla de Huete (Cuenca), y el peligro del avance cristiano, comenzaron a fortificar enclaves estratégicos en el valle del Vinalopó, entre ellos la primitiva fortaleza de Elda.

Entre los siglos XIII y siglo XV, después de la conquista cristiana la fortaleza, dado su carácter eminentemente militar,  pasó por un período turbulento, cambiando frecuentemente de propietarios, por cesiones y compraventas, que cambiaron su estructura y fisonomía participando activamente en los actos bélicos que se desarrollaron en la zona.

Se reformaron y reforzaron las murallas a finales del siglo XIV y principios del XV. Pasó a manos de doña Violante y después a los condes de Cocentaina, los cuales por necesidades económicas, el 4 de septiembre de 1513 lo vendieron a Juan de Coloma de origen judío.

Durante todo el siglo XVI y parte del XVII siendo residencia de la familia Coloma en estas tierras dio lugar a la transformación definitiva de la fortaleza militar medieval en Palacio Condal. Tanto en su aspecto externo e interno esta transformación fue  muy notable, cambio en la puerta de acceso, la construcción de torres circulares, una pequeña capilla,  una gran cisterna de agua...

La decadencia y deterioro de esta fortaleza comenzó después de la bonanza económica del siglo XVI.

El proceso de deterioro se vio acelerado en el siglo XIX  siendo adquirido por el Estado español en el año 1841, y luego subastado por 121.000 reales en el año 1848. Se intentó  transformar en carcel, en el año 1844, para el Juzgado de 1ª Instancia, se utilizó para funciones teatrales,  y suelta de novillos, en el año 1846.

Entre 1866  y  1886 fue derribado y se expoliaron sus mármoles, sillería, maderas, artesonados, muebles, metales etc.

En el año 1879 fue construido el puente sobre el Vinalopó, cuyas columnas y arcadas fueron levantadas con la sillería de las torres circulares.

Se encuentra en estado de ruina, desde 1983.

​