Se cree que la Ermita era parte de un antiguo Monasterio medieval que se adosó a una cueva de tradición eremítica y que sería el origen del culto en el lugar. Está dedicada a San Baudelio, mártir galorromano decapitado en Nimes en el siglo IV.  El exterior austero de la Ermita no da idea de la riqueza arquitectónica y pictórica de su interior, de estilo mozárabe. Se cree que el grueso de las pinturas fueron realizadas en el siglo XII por orden del señor de Berlanga, Fortunio Aznárez, utilizando una técnica mixta al fresco y al temple.  En el año 1.922, los lugareños propietarios del terreno en el que se ubica la Ermita vendieron sus pinturas a un marchante yanki, siendo éstas arrancada mediante el método strappo que permite retirar la primera capa de pintura y trasladarla a lienzos. Tras el expolio, las pinturas fuero adquiridas por los museos Metropolitano de Nueva York, el de Bellas Artes de Boston, el de Artes en Indianapolis y el de Cincinnati. Algunas de éstas pinturas se recuperaron años después y pueden contemplarse en el Museo del Prado, en Madrid. La Ermita, aun sin las pinturas expoliadas, puede considerarse una obra cumbre del arte mozárabe.