杨素（号素翁），生卒年不详，南宋时期朝散大夫、丹棱县（现称通义郡）富绅。他以才华横溢、正直善良、只凭礼义而不凭钱势的品格享誉一方。杨素热爱诗文，崇拜杜甫、苏轼、黄庭坚等文坛领袖。他还是蜀中著名的藏书家。杨素好收藏，时为蜀中著名的藏书家，是大雅堂最初的建造者。

杨素，推崇杜诗，得知黄庭坚想要书刻两川夔峡杜诗保存蜀中，就有了与之结实的想法。

赵煦元符元年（1098），黄庭坚迁徙戎州（今宜宾），杨素闻讯，便连忙带上一个竹书架作为见面礼，从古岷江码头乘船赶往宜宾拜会黄庭坚。老翁杨素恳请黄庭坚惠赐杜甫诗书，然后自己出钱请工匠镌刻成碑，并修建高阁大厦永久珍藏这些杜甫诗碑。

半年后，杨素再赴宜宾，将黄庭坚书写的800多首杜甫两川夔峡诗带回家乡，马上请来数十名石匠刻碑。然后在他的家院右侧，修建了一座用来珍藏这些诗碑的高屋大堂，并用青石板铺筑了一条通往县城的石板路，以便各方人士前来观瞻读诗。这个地方距丹棱县城南3公里，就是如今丹棱镇茶林村高庙沟上方的杨湾。

元符三年（1100年）9月，诗碑大堂全面竣工，杨素又去宜宾请黄庭坚为它题名，挥笔写下了“大雅堂”三个大字，并撰写《大雅堂记》，记录了杨素在故乡兴建大雅堂的起因、经过、结果和意义。有诗曰：“南安（今丹棱）多胜壮江山，白鹤儒林大雅堂。”

历经南宋、元、明各代之后，大雅堂又收藏了名家咏大雅堂的诗、词、文、赋上百件，洋洋洒洒，蔚为诗、书艺术大观。后世之人常以能否登大雅堂，来作为衡量和区别文学艺术作品雅正或粗俗的标准，成语“不登大雅之堂”遂由此产生。历史上的丹棱大雅堂草图1497年（明朝弘治十年），一个叫荣华的巡按御史组织扩建大雅堂，增修了1个大殿，为杜甫、黄庭坚塑像贴金，并刻碑纪念。凡乘轿过此者，都要下而步行，以示敬意。大雅堂遂成“丹棱县八景”之一。

为此，一些史学家称丹棱北宋大雅堂是中国诗歌的圣殿，丹棱是中国大雅文化的发祥地。从宋朝开始的历代国家级史志上都有相关记载，宋史《周益公大全集》、明史《永乐大典》、明朝《四川通志》等，都把丹棱大雅堂放在很高的位置。清代以来各种版本的《丹棱县志》均称，北宋丹棱杨湾大雅堂是中国唯一的大雅堂。

可惜，在明末清初连绵不断的战乱中，大雅堂被毁，诗碑散陷于山野泥土之中。《丹棱县志》（清乾隆版201页）载：大雅堂，（丹棱）城南三里，邑人杨素翁请黄庭坚书杜甫蜀中诗，刻石。作堂荫之。并恳为记，明弘治中，巡按御史荣华重新祠宇，立像勒石，知县江谦率众绅士往祭也，遂为故事。献逆后，堂毁，碑碣无存。

《丹棱县志》说“献逆后，堂毁，碑碣无存。”张献忠是在崇祯十七年（1644年）8月9日攻破成都市的，之后很快控制了四川省大部分地区的州县。是年冬，绝望之下，张开始在四川进行空前的烧杀破坏，残忍变态至极。清顺治三年（1646年）10月20日，张献忠在与清军交战时中箭身亡。因此，大雅堂被毁可能是在1645—1646年间。

丹棱县政府一直打算在南宋历史学家李焘的故里——丹棱龙鹄山下“雁湖”北岸择地重建大雅堂，以陈列黄庭坚手书杜甫两川夔峡诗碑，并塑杜甫、黄庭坚及杨素像等，重现古代大雅堂之风姿。但终因财力有限而搁置。