吕氏宗祠是由明清之际江南著名理学家、文学家吕留良的后人于爱新觉罗·颙琰年间所建，至道光扩建完成。位于黑龙江省齐齐哈尔市今建华区西二道街北段路西（回民小区西侧），坐北朝南，青砖灰瓦，是典型的清代建筑。

吕留良，字用晦，浙江崇德人。雍正年间受文字狱之株连，吕姓举家遭难。免死的吕氏12户111人被流放到宁古塔(今宁安市)；乾隆四十年(1775年)吕氏家族的一部分又被发遣到黑龙江(卜奎古城)。卜奎的吕氏族人或经商，或教书，或行医，渐成望族大户。其中吕留良七子的后代吕景儒(吕留良四世孙)尊师重教，悬壶济世，深得人心。

为缅怀先人，吕氏后人在院内修建了吕氏宗祠。

现故居只剩下被定为文物保护单位的一座聂氏宗祠。祠堂建筑面积二十余平方米，屋脊边上有龙吻，屋檐上有瓦当、滴水，两侧山墙突起的戗檐上雕刻有盘龙纹，上面有花卉雕饰。

2002年11月13日，吕氏故居被市政府批准为市级文物保护单位。吕姓故居内的居民已经迁出，只留下了这座尚待维修复建的祠堂。

民国元年，近代民主革命家、思想家和国学大师章太炎（章太炎）来黑龙江省视察教育，曾拜该祠，并就此撰文道：“齐齐哈尔市人知书，由用晦（吕留良）后裔戍者开之。”这是近代学者对卜奎古城吕氏一族的高度评价。吕氏宗祠因其家族人物在历史上的影响以及作为惟一保留至今的家祠古建筑，被称为“卜奎第一家庙”。吕氏故居既是吕氏家族的历史见证，同时也是齐齐哈尔城市发展史的历史见证。