嘉永4―5年（1851―52年）に書かれた「多紀郡明細記」に「柿渋師　夙村ノモノ」の記述がある。
柿渋は、未熟な青い柿の実を砕いて絞り、その汁を発酵・熟成させて作る赤褐色の液体。防腐・防水効果や、補強、医薬品、紙布の染料など、当時は多くの利用があったとされる。
酒井さんは、「夙の人々は柿渋を製造する職人集団で、柿を求めて各地をめぐる出稼ぎの人々だったのでは」と話す。
一時期、80戸を誇る大きな村を形成していた夙村だが、嘉永年間（1848―55年）のわずか7年の間に7戸にまで戸数を減らし、さらにその後、全戸がなくなったという記述が1884年（明治17）に編さんされた「兵庫県多紀郡地誌」にある。
「わずか7年間という短期間で7戸にまで減ったのは疫病が流行ったからでは」と酒井さんは推測。自寺の過去帳から葬儀件数を割り出したところ、同時期の件数が平年の4・4倍にも跳ね上がっており、近隣のほかの寺においても高い値を示している事実から、「村の9割近くがあっという間になくなってしまうということは、やはり流行り病が原因と考えてしまう」と話す。

その後、明治中期から後期にかけて味間南で火災が続いた。あまりに相次ぐ大火に、当時の村人たちはその原因を「消滅した夙の人たちの霊を放置しているからだ」とうわさした。
そこで村人たちは、夙の村跡の掃除をしたり、夙の氏神であった加茂神社の御神体を味間南の岩上神社に、仏像（阿弥陀如来坐像）を同集落の地蔵堂にそれぞれまつるなどした（1908年）。
さらに、山中に散在していた夙の人々の墓石を1カ所に集め、毎年、秋の彼岸には地元の住職を迎えて供養をするようになった。
以来、大きな火事は起こっていないという。