Data del siglo XI, con reformas importantes realizadas en los siglos XIV y XV. El geógrafo Al-Idrisi se refiere a el citándolo como "castillo de baño termal" en el siglo XII. Pasó a formar parte del Reino de Castilla en el año 1.243, al integrarse en este el Reino de Murcia. A finales del siglo XIV formó parte de las posesiones de la familia Fajardo, de ahí su nombre; ya en el siglo XVII, una vez perdida su importancia militar, sería abandonado y demolido en parte. Desde hace tiempo se realizan obras de consolidación de la ruina del castillo.

​