吕虔有勇有谋，
曹操在
兖州时，任命他为从事，率领家丁驻守湖陆。后升任
泰山知府，与
夏侯渊共同镇压
济南市等地的
黄巾军。使原本混乱
泰山郡成为曹操领地内出名的强郡，受到曹操下令嘉奖。被推举为秀才，加任骑都尉，仍管辖泰山郡。
曹丕继任魏王后，加吕虔为
裨将军，封益寿亭侯。再升任
徐州市刺史，加任威虏将军。任用
王祥为别驾，将民政事务都委托于他，为世人所称赞。
曹叡继位后，改封万年亭侯。吕虔死后，其子吕翻世袭万年亭侯。
吕虔为任城国人。
刘协初平三年（192年），
曹操在担任代理
兖州牧时，听说吕虔有勇有谋，便任命他为从事，让他带领自己的家丁镇守湖陆城。
当时，襄贲
校尉杜松的部下
炅母等人作乱，与
昌豨勾结，曹操命吕虔接替杜松。吕虔到任后，招诱炅母和他的首领及党羽数十人，赐他们酒饭，暗中派壮士埋伏在两侧。等看到炅母等人都喝醉后，吕虔便命两侧的伏兵把他们全部杀死，并安抚炅母的部下，这批叛贼于是都被扫平。
后来，曹操又任命吕虔为泰山郡太守。
泰山郡依山连海，世道混乱，百姓大多躲藏起来或四处流窜。袁绍所任命的
中郎将郭祖、公孙犊等数十人占山为寇，百姓深受其害。吕虔率领家兵到泰山郡赴任，他施行恩惠、讲求信用，郭祖等人都出来投降，躲藏在山里的百姓都返回乡里定居从事生产。吕虔挑选强壮的人补充到军队中，泰山郡从此便有了精兵，在各州郡中名列第一。
当时
济南市的
黄巾军首领
徐和等人，所到之处劫持县令官吏，攻打城邑。吕虔率兵与
夏侯渊一同前去攻打他们，前后数十仗，斩首俘虏数千人。
曹操又派吕虔
总督青州市各郡的部队讨伐
东莱郡地区的李条等各路贼寇，立有战功。曹操发布通令说：“有志向，必定要成就事业，这是英烈之士所献身追求的目标。你在
泰山郡以来，捕捉奸人讨伐贼寇，百姓获得安宁。你亲自冒着矢石，每次出征必能取胜。过去
寇恂在
汝水、
颍河之间扬名，
耿弇在青州、
兖州献策，古今都是一样的。”吕虔被推举为茂才，加任骑都尉，仍然管辖泰山郡。吕虔在泰山郡十几年，有许多威德恩惠。
黄初元年（220年），
曹操之子
曹丕继任魏王，加吕虔为裨将军，封益寿亭侯。后又升任徐州
刺史，加威虏将军。吕虔请琅玡人
王祥担任徐州别驾，将民政之事全部委托给他，世人都赞扬他能够任用贤人。后来，吕虔在征讨利城叛贼的战役中，斩首俘虏立下功劳。
太和元年（227年），
曹叡曹继位，改封吕虔为万年亭侯，增加食邑二百户，连同以前的共计六百户。吕虔去世后，由其子吕翻袭封万年亭侯的爵位。
曹操：夫有其志，必成其事，盖烈士之所徇也。卿在郡以来，禽奸讨暴，百姓获安，躬蹈矢石，所征辄克。昔
寇恂立名於汝、，
耿弇建策於青、，古今一也。
卢弼：文聘在
江夏区数十年；
杜畿在
山西省十，在
太原市、
冀州二十余年；吕虔在泰山十数年。皆久于其任，当时信任郡守、
刺史如此。
当初，吕虔有一把佩刀，工匠观看后，认为有佩有此刀的人一定会登上三公之位。吕虔对别驾
王祥说：“我不是可以做三公的人，这刀对我说不定还有害。而您有公辅的器量，所以送给您。”王祥坚决推辞，吕虔强迫他才接受。后来王祥官至太保。王祥临终前，又将这把刀送给其弟
王览，说：“你的后代一定兴盛，足以配此刀。”果然，王览的后代之中便有
东晋政权的奠基人，即大将军
王敦、
丞相王导，其琅王氏家族从东晋开始贤才济济，成为其后光耀几百年的望族。
唐朝文学家
李翰在收集古今各类的典故而编《蒙求》时，特意收录了“吕虔佩刀”的这一典故。