1940年1月，“晋西事变”后，为巩固太岳区，加强该地区的军事力量，八路军第386旅集总部特务团进入太岳区，配合决死第1纵队予进攻张家店之晋绥军以严重打击，巩固了太岳区根据地。6月，根据北方局黎城会议决定，成立太岳军区，由八路军第129师第三八六旅兼军区领导机关，对外称太岳纵队。

1940年5月，太岳军区在阎寨正式成立，陈赓任司令员、王新亭任政委、周希汉任参谋长。

1945年8月20日，在原晋冀豫、冀南、鲁西、太行、太岳、冀鲁豫等军区的基础上调整成立晋冀鲁豫军区。

1949年8月，太岳区和太岳军区撤销，所辖各县归山西省政府领导，太岳军区并入山西省军区。

太行太岳军区司令部旧址位于山西省沁源县阎寨，在县城南7.5公里处。现有土窑10孔，占地面积约1800平方米。1939年8月12日，由薄一波、牛佩琮率领山西青年抗敌决死一纵队司令部迁驻阎寨村。当时行署与决死一纵队司令部住在一起，合署办公。从1939年到1942年10月，作为太岳根据地领导中心的太岳军区，前后在阎寨村驻扎达3年之久。1942年10月20日，太岳军区由阎寨迁往安泽县。1982年，沁源县委、县政府将当年住过的土窑洞进行整建修缮。1986年8月18日被列为省级重点文物保护单位。

解放战争时期的太岳军区是抗日战争时期太岳军区的延续。1945年8月，

晋冀鲁豫军区成立后，太岳军区隶属晋冀鲁豫军区建制。王新亭任司令员，聂真任政治委员，孙定国任副司令员，裴孟飞任副政治委员，邓仕俊任参谋长，桂绍彬任政治部主任。辖第1、第2、第3、第4、第5军分区。10月，参加上党战役。12月1日，晋冀鲁豫军区根据。

拟调第4纵队赴东北地区作战的预先号令，由太岳军区部队组建第8纵队，辖第（22（第4纵队第11旅改称）、第23、第24旅。12月5日，中央军委决定，第4纵队不调往东北，仍留太岳军区。12月13日，太岳军区根据晋冀鲁豫军区的命令，将原5个军分区重新划分为4个军分区，撤消第2军分区，将第3、第5军分区依次改称第2、第3军分区，第1、第4军分区番号不变。12月下旬，晋冀鲁豫军区报经中共中央批准，第4、第8纵队合并为第4纵队，撤消第8纵队番号。所辖第23、第24旅划归太岳军区建制，第22旅恢复第11旅番号，归建第4纵队。至此，太岳军区下辖：第1军分区，刘聚奎任司令员，刘植岩任政治委员；第2军分区，张祖谅任司令员，刘尚志任政治委员；第3军分区，王墉任司令员，柴泽民任政治委员；第4军分区，郭庆祥任司令员，薛迅任政治委员；第23旅，贾定基任旅长，车敏瞧任政治委员；第24旅，刘金轩任旅长，李耀任政治委员。

1946年1月，太岳军区将第1、第2、第3、第4军分区依次改称第18、第19、第20、第21军分区。1月底，晋冀鲁豫军区决定，将太岳军区第23旅划归晋冀鲁豫军区第4纵队建制，改称第12旅。3月，恢复第1、第2、第3、第4军分区番号。6月，第4纵队第12旅划归太行军区建制，改称太行军区独立旅。8月至11月，该军区先后参加了同蒲路战役和吕梁战役。11月23日，晋冀鲁豫军区决定，太行军区独立旅划归太岳军区建制，改称太岳军区第12旅。

1947年1月27日，中央军委决定，太岳军区地12旅改称太岳军区第23旅。2月，太岳军区又以第1军分区新编第7团、第2军分区警卫团、第4军分区独立第5团组成第22旅。5月15日，太岳军区第24旅划归晋冀鲁豫军区第4纵队指挥，并改称第12旅。7月2日，晋冀鲁豫军区决定，组建晋冀鲁豫军区第8纵队。28日，以太岳军区机关一部与第22、第23旅合编组成第8纵队，并以第2军分区第40团、第3军分区第49团、第4军分区第59团重建第24旅，归第8纵队建制。9月2日，太岳军区第5军分区成立，郭庆祥任司令员，刘道安任政治委员。是年，该军区先后参加了汾孝战役、晋南攻势和乡宁县、闻夏战役。

1948年3月，由太岳军区机关一部组成太岳军区前方指挥所。5月，中国人民解放军华北军区成立后，太岳军区划归华北军区建制（为二级军区）。刘忠任司令员，王鹤峰任政治委员，方升普任副司令员兼参谋长，顾大川任副政治委员，高德西任政治部主任。下辖：第1军分区，刘聚奎任司令员，刘植岩任政治委员；第2军分区，涂则生任司令员，刘尚志任政治委员；第3军分区，李志明任政治委员；第4军分区，卫恒任政治委员；第5军分区，郭庆祥任司令员，刘道安任政治委员。同时，将晋冀鲁豫军区第8纵队亦划归华北军区建制。3月26日，中国人民解放军中原军区决定，将太岳军区第5军分区划归豫西军区建制，并改称第1军分区。7月2日，中国人民解放军华北军区根据中央军委指示，以太岳军区第1、第2、第3、第4军分区的10个团和太岳军区前方指挥所组建华北军区第15纵队，辖第43、第44、第45旅，归华北军区第1兵团建制。8月15日，太岳军区改称太岳警备司令部。同时，太岳军区第3军分区划归吕梁军区建制，另将第4军分区改为第3军分区。12月2日，又将太岳警备司令部改称中国人民解放军太岳军区，调整为三级军区，将所辖第1、第2、第3军分区依次改称岳北、岳南、王屋军分区。13日，中国人民解放军华北军区命令，太岳军区组建俘（补）训第9旅，归华北军区补训兵团建制。

1949年8月1日，中央军委决定，太岳军区并入山西省军区，太岳军区番号撤销。

1941年1月14日，八路军第129师决定，第三八六旅改为第129师机动团，免兼太岳军区领导机关，太岳军区由决死第1纵队兼。8月6日，为建立（太）岳南抗日根据地，第129师以第386旅第17、第18团和决死第1纵队第57团为基础组建太岳南进支队（归8日成立的太岳纵队兼太岳军区建制，1942年12月5日撤销）。8月8日，为开展太岳山区和中条山区的抗日斗争，八路军总部根据中央军委决定，以决死第1纵队、第386旅及第212旅合编组成太岳纵队，归第129师指挥。8月11日，决死第1纵队改成决死第2旅。10月3日，太岳区决定，以决死第1旅的1个工作队和第386旅的部分干部为基础，成立太岳军区第4军分区。是年，太岳军区部队先后参加了反“蚕食”斗争和岳南、岳北秋季反“扫荡”作战。1942年1月，10日，为便于指挥，太岳纵队拨归第八路军第129师建制。太岳纵队仍兼太岳军区。15日，八路军第129师根据中共中央关于精兵简政的指示，将第212旅并入第4军分区（保留旅的番号）所辖第54、第55、第56团合并称第54团，归第4军分区建制。决死第1旅第59团，洪赵支队分别并入第1、第3军分区。4月1日，中共太岳区委决定，成立豫晋边区人民抗日联防区，辖第1、第3军分区（分别由第18、第57、第17团兼）。10月21日，中共中央决定，该联防区并入太岳军区。是年，太岳军区部队先后参加了1942年春季、夏季、秋季反“扫荡”作战和沁源围困战。 

1943年3月24日，太岳军区重新划分为4个军分区。决死第1旅改兼第1军分区，李聚奎任司令员，顾大川任政治委员，辖第25、第38、第59团和洪赵支队；第386旅改兼第2军分区，王近山任司令员，刘忠任政治委员，辖第772、第16、第20团；第212旅改兼第3军分区（后旅的番号撤销），孙定国任司令员，刘聚奎任政治委员，辖第54、第57团；原豫晋联防区改编为第4军分区，唐天际任司令员，李哲人任政治委员，辖第2、第17团和豫北义勇军。10月初，参加太岳1943年秋季反“扫荡”作战。10月6日，中共中央决定，八路军第129师机关与八路军总部机关合并，保留第129师番号，太岳军区归八路军总部领导，太岳纵队番号自行撤销。

1944年初，参加反顽作战。8月1日，太岳军区决定，成立第5军分区，康俊仁任司令员，柴泽民任政治委员。9月6日，以第18、第59团组建豫西抗日游击第2支队进军豫西（10月划归河南军区建制）。10月下旬，八路军总部指示，以抗大太岳大队（1942年2月成立）扩编为中国人民抗日军事政治大学太岳分校（简称抗大太岳分校），归太岳军区领导。1945年4月，参加豫北战役。8月，参加战略反攻作战。8月20日，中共中央决定，成立晋冀鲁豫军区。据此，太岳军区于9月2日划归晋冀鲁豫军区建制。23日，太岳军区决定，以决死第1旅兼第1军分区组建太岳军区第1旅，辖第38、第25团和吞襄团；将第386旅兼第2军分区、第3军分区部队合并组建太岳军区第2旅，辖第20、第772团和士敏独立团。