Původní poutní místo vzniklo po roce 1750, kdy nechal Jan Šubrt namalovat svatý obrázek. Roku 1770 vznikla pro obrázek malá kaple obdélníkového půdorysu, ale obrázek byl přesunut do farního kostela sv. Bartoloměje v Zábřehu a nahrazen kopií. Součástí areálu kapličky je i pieta vysoká téměř 5 metrů.
Podle pověsti vzniklo poutní místo poté, co se majiteli pole Janu Šubrtovi zdál sen (okolo roku 1750) o velkém zástupu lidí, kteří jdou kolem jeho pole a žádají ho o pověšení svatého obrázku. Jeden z jeho lidí pak namaloval na dřevo obraz Bolestné Panny Marie, který Šubrt pověsil na olšový sloup. Barvy na obraze vystavené nepřízni počasí rychle vybledly, ale jako zázrakem se po čase začaly znovu objevovat, což neušlo pozornosti věřících. Začalo se zde zastavovat a modlit stále více lidí, došlo tu i k několika zázračným uzdravením. Kaplička postavil roku 1770 opět Jan Šubrt, před rokem 1775 byl obrázek přenesen do farního kostela sv. Bartoloměje v Zábřehu, kde byl umístěn na bočním oltáři sv. Jana Nepomuckého. Do nově postavené kapličky byla dána kopie. Z nařízení císaře Josefa II. bylo odstraněno z obrázku mnoho darů, obětin a prodáno za 149 zlatých. Kaple je drobná stavba lidové architektury obdélníkového půdorysu. Nad vchodem s dvojkřídlými dveřmi je jemně profilovaná římsa z maletínského pískovce. Byla druhotně použita po zrušení dvora nemilské renesanční tvrze, kde byla zbourána boční křídla a patro tvrze, ze kterého pochází i tento blok opracovaného kamene. Boční fasáda je prolomena půlkulatými okny. Pod střechou je profilovaná korunní římsa. Nad vchodem je trojúhelníkový štít s nikou kde je obraz Panny Marie. Kaple leží nedaleko Sázavy, přímo za kapličkou protéká Mlýnský náhon z 15. století, který napájel podzámecké rybníky a dodával energii vodním mlýnům v Zábřehu. Součástí areálu kaple je také pieta – monumentální moderně řešené sousoší vysoké 472 cm. Některé detaily soch nebyly dokončeny. Na sousoší z Hořického pískovce je signatura Antonína Berky, který měl sousoší dokončit už v roce 1950. To se z politických důvodů nestalo, a tak byla pieta částečně dokončena až kameníkem Leo Benešem – slavnostní vysvěcení proběhlo 10. 9. 1994.
Jaromír Schoffer (upraveno redakcí), 22.3. 2010
