吐万绪从小有武略，长成后仕北周为
巡抚将军，并袭父爵为无寿县公，积战功迁升至大将军、少
司武等职。
隋炀帝在
大业九年、十年，接连杀手下大将
鱼俱罗、
董纯、逼死吐万绪等人。此时，社会上谣言四起——“桃李子，有天下”“杨氏灭，
李姓兴”，更是成了流行歌曲，到处传唱。
一年多后，突厥侵犯隋朝边境，朝廷因吐万绪有声威谋略，便改任他为
朔州市总管，镇守边境。朔州即
代郡，是吐万绪的故乡，吐万绪在任内，多次击败突厥，使之闻风丧胆。
后来，隋文帝准备南征
南陈，改任吐万绪到与陈朝相邻的
徐州市担任总管。他在徐州积极修治攻城战具，做战前准备。
开皇八年（588年），
隋朝大举伐陈，
杨坚任命吐万绪为行军总管，与西河公纥豆陵洪景率军驻守江北为后应。开皇九年（589年），隋朝平灭陈朝，吐万绪改任夏州总管。
吐万绪深受隋文帝次子晋王
隋炀帝的亲遇。开皇二十年（600年），杨广成为太子之后，特引用吐万绪担任
东宫的左虞侯率。
仁寿四年（604年），隋文帝去世，杨广继位，是为隋炀帝。当时汉王
杨谅镇守
太原市，隋炀帝恐其起兵叛变，于是任命吐万绪为晋、二州刺史，让他快马前往赴任。吐万绪还未出
渭河平原，杨谅已派兵据守蒲坂，毁断黄河桥梁，吐万绪道路受阻，不能前进。隋炀帝下诏命令吐万绪率军跟随杨素讨伐杨谅，杨谅叛乱平定后，吐万绪因功升任左武侯将军。
大业三年（607年），将领
贺若弼遭人谗言诬陷。贺若弼为了证明其无罪，特请吐万绪为他做证。吐万绪如实澄清事实，但却违背
隋炀帝的旨意，而被免职。
大业六年（610年），隋炀帝游幸
扬州市（今江苏扬州），路经东平，吐万绪在路边迎驾。隋炀帝让他登上龙舟，吐万绪乘此跪地讲述往事。隋炀帝大悦，任命他为金紫光禄大夫，太守职务如故。
大业八年（612年），隋炀帝东征
高句丽，吐万绪自请担任先锋，隋炀帝对此很是赞赏，任命他为左屯卫大将军，让他率领马步数万从盖马道向高句丽进军。同年七月，隋军班师回朝，
隋炀帝留下吐万绪镇守怀远，进位左光禄大夫。
大业九年（613年），
隋朝发生
杨玄感之乱，当时
杭州市人
刘元进亦在江南起兵响应杨玄感，并出兵攻打润州（今江苏镇江）。隋炀帝平杨玄感之乱后，随即派吐万绪率军讨伐刘元进。吐万绪率军夜渡扬子津（即
长江，在今
扬州市南），刘元进想要从茅浦渡江，但被吐万绪击退。吐万绪因此过江，
背水为营。第二天一早，刘元进前来进攻，再次被打败，只好解除润州围而去。吐万绪进屯曲阿，刘元进再次结营拒守。吐万绪挑战，刘元进出战，列阵未整，吐万绪以骑兵突击，敌军于是溃散，跳江而死者数万。
刘元进连夜逃回老巢
会稽郡，其手下任命的仆射
朱燮、
管崇等人驻扎在毗陵，连营一百多里。吐万绪乘势进击，再次击败他们，敌军退保
黄山。吐万绪进军围攻，敌军穷蹙请降，刘元进、朱仅以身免。此次大战斩杀管崇及其将军陆顗等五千多人，俘虏其男女三万多口，送往江都宫。继而进军解除会稽之围。刘元进复据守
建安郡（今福建建瓯），
隋炀帝命令吐万绪继续进军征剿，但吐万绪以士卒连战疲敝，需要整休为由，请求息甲修整，等待来年春天再战。对此，隋炀帝心中很不高兴，于是秘密派人寻找吐万绪的过错，有司上奏吐万绪怯懦违诏。不久，隋炀帝即以此罪将吐万绪削职为民，配守
建安。不久，隋炀帝下诏让他到
定州市行在见驾，吐万绪郁郁不得志，走到
永嘉时，发病而死。
魏徵等《
隋书》：“吐万绪、
董纯各以立效当年，取斯高秩。绪请息兵见责，纯遭谮毁被诛。”