Según la historiadora Purificación Ruiz García, esta diligencia hecha en Torrox el 13 de marzo de 1627 es la primera referencia histórica de esta Ermita. Agrega el documento que la misma era “Fecha, adornada y fabricada de la limosna de los fieles católicos vecinos de esta villa”.
Lo cierto es que en 1646 el Concejo Municipal de Torrox ya había solicitado a los frailes Mínimos que crearan un establecimiento religioso, que además educara a los hijos de los vecinos. Los frailes no se instalaron allí hasta 1670, primero como Hospicio, y desde principios del siglo XVIII definitivamente como Convento.
Con casi total seguridad, el edificio actual fue construido a fines del XVIII sobre la ermita originaria. La Fundación oficial, sellada en el Capítulo General de la Orden religiosa celebrado en Génova en 1710, lo designa como “Convento torroxensis Madonna della Neve”.
Este edificio -menos la Capilla- fue expropiado a la iglesia durante la Desamortización de Mendizábal de 1836, y adquirido por 38.508 reales en 1844 por el comerciante D. Gabriel García, que lo revendió en 1851 a don Fernando Sevilla para su uso como almacén. Hoy está restaurado y destinado a usos culturales del Ayuntamiento, a excepción de la Ermita que continúa sirviendo para el culto, y que acoge las imágenes de Ntra. Sra. de las Nieves y de San Roque, Patronos de Torrox, que son procesionados todos los años por sus fieles el día 5 de agosto.
Muy cerca, uniendo las orillas del río que corre a su costado, se encuentra el “Puente de las Ánimas”, considerado parte de una antigua calzada romana.