Un zapatero que caminaba hacia Gibraleón sufrió un fuerte dolor de cabeza y encomendándose a la Virgen, ciñó un cinto a su frente que lo sanó de su mal. En agradecimiento erigió en aquel lugar una ermita que se conoció como el Humilladero. Siglos después los árabes destruyeron la ermita. En el año 1400, un pastorcillo que huía de un toro se hundió en el mismo lugar y se le apareció la figura de la Virgen. Entonces se construyó el actual edificio. Naturalmente esto es lo que dice la leyenda.

En realidad, el edificio es de la época musulmana tardía, y su construcción, probablemente, algo anterior a la caída de Huelva en manos de Alfonso X el Sabio. La capillita tuvo en tiempos una puerta a cada lado con arcos de herradura, pero estos desaparecieron en la restauración que se le hizo en 1921. Antes de ésta es seguro que sufrió otras transformaciones. Pudiera ser que originariamente perteneciera a algún ermitaño árabe.