No conocemos exactamente la fecha de la fundación de este ermita, aunque debió existir desde muy antiguo; se el atribuyen nombres hoy perdidos como Virgen de las Victorias o Virgen de los Toros, pero en el siglo XII ya aparece documentada como ermita de Valsordo. Tampoco se exactamente el origen del nombre. Algunos estudiosos apuestan por un origen en la palabra latina “sors”, suerte en relación a las tierras que se sorteaban para reparto, acepción que todavía se conserva en muchos lugares rurales con esa misma acepción.
El edificio actual parece datar del siglo XV, aunque con añadidos posteriores; se realizó una restauración integral en 1986. En el lugar es posible que se ubicara una antigua población que aparece citada en algunas fuente medievales.
Alberga la imagen de la Virgen de Valsordo, patrona de la localidad. Se celebra aquí una multitudinaria romería el primer domingo de mayo en honor a la titular.
La imagen Virgen de Valsordo permanece la gran parte del año en su ermita a poco más de dos kilómetros de la villa - en dirección al río Alberche - lugar donde se la venera, exceptuando el tiempo comprendido desde finales de julio a primeros de septiembre que es trasladada a la Iglesia de la localidad, conocida como Iglesia de Santiago Apóstol, para que esté presente en la Villa con motivo de la celebración en su honor de las fiestas patronales del 15 de agosto; durante ese tiempo, los cebrereños le muestran su cariño y le profesan su fervor en el templo.
Cebreros ha mostrado a lo largo de la historia y hasta día de hoy una profunda veneración a la Virgen de Valsordo. Cientos de mujeres, hombres, jóvenes, niños y niñas la acompañan en la peregrinación de su ermita al pueblo y viceversa, además participan activamente en todo cuanto se hace por ella como símbolo de devoción, desde su Romería en mayo, a su procesión en el día de la Asunción, así como misas, novenas y la ofrenda floral que coincide con el inicio de sus fiestas.
Los primeros datos que encontramos de la Virgen de Valsordo, la cual se llamada por aquel entonces de las Victorias, Batallas o los Toros se centran en la dominación árabe donde tendrían lugar sus primeras apariciones y prodigios frente a las invasiones musulmanas.
A comienzos de la guerra civil los edificios religiosos sufrieron graves consecuencias así como las imágenes que contenían. La imagen de la Virgen de Valsordo que en aquel momento era una talla bizantina sufrió los desastres de la guerra. No será hasta febrero de 1939 cuando tras juntar varias fotografías antiguas de su imaginería se pudo encargar a unos talleres de Santiago de Compostela su actual talla, desarrollándola con un extraordinario parecido a la anterior. La imagen de la Virgen de Valsordo no llegaría a Cebreros hasta el comienzo de la primavera donde se la pudo vestir con las ropas que quedaban de la anterior.
A día de hoy los cebrereños y cebrereñas siguen mostrando, a pesar del paso del tiempo, la misma expresión de fervor por todas las tradiciones relacionadas con su patrona y esperan con mucha ilusión, gozo y alegría el tiempo en el que la Virgen de Valsordo se encuentra conviviendo con todos ellos en el pueblo de Cebreros.