白驹，原四川军阀，国民党中央军官学校高等教育班第三期学员。1927年5月，白驹任国民革命军第20军第一师师长，是杨森的部下。他的公馆因被中国国民党国民政府军事委员会调查统计局特务头子戴笠改建为秘密监狱的“白公馆” （又名“香山别墅”）而留名后世。

杨森兵多器利，有统一四川省舍我其谁之概。当时，民间流传着一首顺口溜，生动形象地刻画了大军阀杨森的权贵势力：“头顶玉帅（吴佩孚，号子玉），脚踏金（何金螯），背跛子（魏楷，是跛子），怀抱傻儿（范绍增，绰号范傻儿），跨骑白驹（白驹），左有二王（王缵绪、王兆奎），右有二杨（杨淑身、杨汉城），前有吴行之光（吴行光），后有郭松之云（郭汝栋，号松云），又有杨家之将（杨森子侄），并有广安市之帮（杨森部下多广安同乡），前呼后拥，浩浩荡荡，将军出征去也。作为杨森的得力干将，白驹在四川省曾权贵一方，名振一时。

歌乐山秀美的风景吸引了初履重庆市的白驹，他在山泉流淌、翠蔼浓浓的歌乐山麓，修建公馆。幽居山间的公馆，在林中若隐若现，令人浮想联翩。白驹对这座充满古诗意境的建筑非常满意，这座居所为他增添了些许文人墨客的气质，使身穿戎装的他又多了一丝风雅。白驹自称是唐代诗人白居易的后裔，并以白居易的字号“香山”为新公馆起了一个雅号——“香山别墅”。