伝説に曰く、大同年間弘法大師四国御巡錫の砌この地で御一泊なさった。ところが、五更に夢幻に童子が出現して夢告げにこの峰に観世音因縁の地あり。早く登りて修行せば諸願成就すといったので大師は（毛田西山六地蔵）早朝中腹中堂（地名）迄登ると紫雲たなびき光明赫々として一寸八分の観世音舞ひ降りたので早速頂戴しさらに八丁登ると峰に平地がある。そこで丸木に一刀三礼等身大の観世音菩薩を刻み、草堂を建立し舞ひ降り給うたその因縁を以って舞寺と号したという。
爾来地方の人は、この観世音に祈ると即座に利益を蒙るので遠近からの賓者四時に絶える事なく現在に至っている。殊に馬の守護尊として知られまた鎮守堂に祠られたる白山大権現は養蚕の守護尊として特に信者が多く毎年旧二月初午会には今に賓者多く境内を振わして居る。
寛永年間（1624～1643）平家の落人公門某なる者当村に在住、狩猟を好み毎日仕事をしないで、いつも狩に出て殺生を業とした。母親はそれを苦に病み舞寺の観世音菩薩に心願した。満願の日に息子はいつもの様に狩りに出かけ、中堂にて白い鹿を認め一矢を放ったが一矢は違はず命中したが血跡を引いて頂上に登ったので血跡を尋ねて登ったが、あら不思議や血跡は本堂の中へ入る。おづおづ乍ら厨子の扉を開いて見れば尊像の左の胸に矢が立って居たので前非を後悔して髪を切り役僧として一生を了と云う事である。以来観世音を矢負の観世音と云い、現在でも矢負観世音と云う。
その後文政年代（1818～1830）に十九世宥印上人時代に本堂の北に庫裡を建てて移った。安政三年（1857）に火災に遭い宝物什器等は鳥有に帰し、宝物はない。
鐘の由来
慶安四年（1651）蜂須賀候の家老稲田九郎兵衛植次の一建立（一人寄附）で岩倉村白水の愛行院住僧権大僧都静養上人の御世話に依り寄附せし鐘は昭和十八年（1943）大東亜戦の際供出した。三好郡志に鐘の銘が残っている。
