源平合戦のクライマックス、「壇ノ浦の戦い」（1185年）に敗れた平家一族は、平家再興の為に全国各地に四散し、隠れ住んだと言われています。

「五家荘」地域（熊本県八代市泉町）に残る伝説によると、平清盛の孫である平清経（平重盛の三男）は、壇ノ浦の戦いのあと四国の伊予今治へ逃げ延び、さらに豊後（現大分県竹田市）の緒方家を頼り九州へと辿り着きました。そして、性を緒方にかえ、更に南へ下り、五家荘の白鳥山に住み着いたと云われています。

その後、清経の長男盛行が「椎原[しいばる]」、次男近盛が「久連子[くれこ]」、三男実明が「葉木[はぎ]」に移り住んだと伝えられています。

また、「平家物語」那須与一の章の文中で、源氏に向かって「この扇を射ってみよ」とさし招いたという平家方の美女「玉虫御前（鬼山御前）」も、五家荘の手前の地に移り住みました。後に平家一族を追ってきた那須与一の嫡男小太郎をこの先へ行かせまいと引き止めているうちに、二人は恋に落ち、敵味方を越え幸せに暮らしたといわれています。

※記載内容は一説です。