V roce 1694 koupil zdejší panství nový majitel Gerhard Jindřich Butz z Rolsbergů. V té době se mezi lidmi vyprávělo, že kolem Boží muky na kopci nad vesnicí se někdy ukazuje zvláštní záře. Zbožný šlechtic se v Telči radil s Felixem Karlem Slavatou, který byl knězem a řeholníkem Řádu bosých karmelitánů. Na jeho radu vystavěl baron Butz na onom místě kapli a umístil do ní obraz Panny Marie Karmelské. To se stalo roku 1709. Od té doby přicházejí na toto místo poutníci prosit Pannu Marii o přímluvu.

Následný rozvoj poutního místa výrazně ovlivnili další příslušníci rodu Rolsbergů. Po necelých třiceti letech zakladatelův synovec Matěj Jindřich Butz kapli přestavěl. Jeho synové Josef Ignác a Jan Matěj byli oba kněžími a olomouckými kanovníky a v druhé půli 18. století se vystřídali jako majitelé vyderského panství. Podporovali rozmach poutí a stavitelskou činnost, která s tím souvisela. Tak byla postupně vystavěna budova kláštera (zatím v ní sídlil pouze kaplan), loď kostela (původní kaple tvoří presbytář dnešního kostela), ambity a ohradní zeď s třemi branami. V roce 1803 Jan Matěj Butz zemřel a byl pochován při jižní stěně kostela proti klášteru, jak dodnes svědčí náhrobek. Od té doby procházel areál poutního místa již jen menšími úpravami.

Interiér kostela je dnes ze značné části určen působením karmelitánů na počátku našeho století. K dvoustému výročí poutního místa nechali bratři celý kostel vymalovat obrazy s mariánskou a karmelitánskou tematikou. O něco málo později byly pořízeny lavice a zpovědnice. Ze staršího vybavení zůstaly křtitelnice a kazatelna a dva boční oltáře: sv. Kříže a sv. Jana Nepomuckého. Po liturgické reformě druhého vatikánského koncilu byly doplněny ambon a oltář čelem k lidu.

Nejvíce poutníků přichází především v týdnu kolem svátku Panny Marie Karmelské (16. července). V neděli předtím se slaví tzv. malá v neděli ppo svátku tzv. velká pouť. Samotný 16. červenec tradičně patří pouti kněží. Kromě toho se o dalších nedělích roku slaví ještě pouť květnová, srpnová, říjnová. Příležitostí k pouti jsou také pravidelné pobožnosti vždy o první sobotě v každém měsíci. Mnoho poutníků přichází i jednotlivě - ať už zúčastnit se slavení bohoslužeb, nebo soukromě se modlit a ztišit - třeba jen zastávkou v rámci nějaké cesty rodinné nebo pracovní.

Součástí služby poutníkům je také prodej knih především s křesťanskou tematikou a devocionálií v prodejně při klášteře. Možnost navštívit prodejnu je v době od 9 do 12 a od 13 do 18 hodin (v pracovní dny a v sobotu), v neděli pouze dopoledne od 9 do 12 hodin.

Na návrší oproti poutnímu kostelu byl na počátku našeho století založen lesní hřbitůvek, který měl sloužit pohřbívání členů šlechtické rodiny patronů kláštera - Dalbergů - i řeholníků z kláštera. Je na něm pohřbeno celkem devět osob, z toho čtyři karmelitáni.