在
北宋时，
江夏黄氏第34世、
诸暨市孝义黄氏的第7世黄汝，曾官任朝仪郎，知
浦江县，赠
开府仪同三司。他家财万贯，仗义疏财。“
宣和中，
方腊犯境，乃尽其财，将逃避。闻贼掠得二千人，闭之空室，邀金帛赎之。否则杀。黄乃悉发所瘗，直二万缗，输之贼营，以赎其命，二千人皆得归。”
黄汝楫生有八个儿子，其中五为
进士，二登制科，一举茂才，都步入宦途。中进士的五人分别是：
后五子归省，太上
赵构手书“五桂联芳”四字以赠，复为之《送五子还乡诗》并序，一时传为美谈。
后来黄汝楫的后代就把自家的祠堂称为“五桂堂”。自此以后，历代文人多有记述黄氏五桂堂的，据现有资料，在宋代就有
朱熹和
王十朋等文化大家分别写有《五桂堂记》和《浣水五桂堂记》。