据说在久远的年代，一对夫妇为逃离迫害，流落到此，相继生育了一男一女。由于当时地处偏地，人烟稀少，兄妹俩长大成人后发生了恋情。父母知道后，采取了多种方法加以阻止仍无济于事。父母仰天发出“青山居野易梁餐，生男育女管教难。子女不仁各散去，将来二老受孤单”的感叹后，父亲即变成一座孤独的大山，即
挂榜山。母亲则变成一座座北向南的一座大石山，人们称之为桂兴岭。兄妹的逆行激怒了上苍，倾刻间天色突变，风雨交加，将原来的小河变成波涛滚滚的大江河，即现在的柳江河。愤怒的天神用雷鞭将兄妹分开兄妹兄被雷甩到最高点，变成现在的猪头山，似一个猪头在供祭着河对岸的母亲。妹则被雷鞭从额头劈下，当场瘫在江边，变成如今的破额山。
据说黄梅山原先只有一个主峰，为了试探佛教禅宗四祖
司马道信，
山神想破脑袋后，主峰也变成了两个，双峰山（一名破额山）即因此得名。从那以后，"黄梅山"之名渐渐被人淡忘，"破额山"及山前那碧玉流水的名气却越来越大，
唐朝柳宗元的"破额山前碧玉流，骚人遥驻
木兰舟。"等诗句和四祖寺前的灵润桥下，
柳公权书写的"碧玉流"三个字，便是佐证。