源平合戦の讃岐屋島の戦いに敗れた平家の一族は、寿永二年讃岐白鳥から板野郡大山村を通り、本町城の丸から深渕を経て祖谷に入った。
この時、道々強力を雇って、平家の物資財宝を輸送していたが、途中深渕の茅の窪に達し、この地が平家再興の際、重要な地点であることを考え、軍資金や財宝を隠す場所と決め、地下に埋めた。そして目印に、くずの実を一緒に埋め、くずが生えた所を掘れば出ると子孫にいい伝えた。
強力たちの中の、この軍資金と財宝を運んだ六人を深渕から帰す時、この秘密が漏れるのを恐れ、ひそかに後をつけ、大藤ハゲの頂上で全部殺してしまった。 後に平国盛の孫家盛が阿佐紀伊守と号して、金丸城主となった時、その祟りを恐れ、その地に六地蔵を建て、その霊を弔った。
また別のこんな話も伝えられている。
天正10年守将篠原参河守の一族のたてこもる、中庄の山口城は、土佐から阿波に進撃して来た長宗我部元親の軍勢に包囲され攻めたてられた。小さな城だが、東南に天険黒長谷山を負い、東北には絶壁の黒長谷川をひかえている。この谷水をせき止めた（山口の鉄橋の下）ので17.8mの深さとなった。
これしきの小城と見くびっていた元親軍も手のつけようがなく、遠巻きにしているばかりだった。その内に食糧が無くなったので、庄屋に命じて整える一方、林下寺の住職を脅して、一方に血路を開き、裏山さして逃れた。鼻つき坂とて追撃が急で、味方は一人減り二人減り、剣戟の響き・雄叫びは、谷間に山腹にこだまし、一大修羅場となった。一族は全滅した。最後の6人も峠までたどり着き落命した。後、何人かがその死を哀れんで六地蔵として祀ったという。
石囲いの中に、一番大きいのが高さ25cm、幅17cm、小さいのは高さ21cm、幅13cm、砂岩の地蔵は、永い年月に3分の1も欠けてしまったのもある。一体は村の某が家に持ち帰って信仰しているとかで、今は5体しかない。
吉野川の清流を眼下に、遠く瀬戸内の海を眺め、南に剣山の連峯を望み、6地蔵は黙って峠に立っている。
6地蔵の2m東に「天正年間黒島家祖先戦死之地」と刻んだ平石が建てられている。黒島家は山口城主の家臣で、子孫が現在北海道にいるが、先年供養のため帰郷し建てたということだ。この峠を六地蔵峠と呼んでいる。
