由冯系军队发展演变而成。1926年9月，冯玉祥在五原誓师响应北伐时，广州国民政府将所部由国民军改编为国民联军，任冯玉祥为总司令。1927年5月，武汉国民政府为适应北伐战争需要，又将所部改编为国民革命军第二集团军，任冯玉祥为总司令。5月1日，冯玉祥在西安宣誓就任，同时任命石敬亭为总参谋长，何其巩为秘书长，刘伯坚为政治部长。同年6月，冯玉祥附蒋后，南京国民政府任冯为西北国民军总司令。1928年2月16日，蒋冯在开封会商，同意将西北国民军改编为国民革命军第二集团军。
抗日战争是
第二次世界大战的重要组成部分，
中国抗日战场是
反法西斯同盟在
亚洲地面作战的主要战场，中国抗日军队在八年对日作战中，歼灭、消耗及牵制了
日本法西斯的绝大部分陆军，为第二次世界大战及反法西斯战争的最后胜利作出了巨大的贡献。在整个抗日战争中，中国陆军先后编成40个番号的
集团军参加对日作战。
1937年8月上旬由原
西北军一部组成的第二十六路军为主编组而成，集团军总司令
刘峙、副总司令
孙连仲，第二十七师、第三十师、第三十一师是该集团军的基本部队，属
抗日战争第一战区指挥管辖，第五十二军、第三十二军、第三军都曾加入过该集团军的战斗序列。该集团军是
七七事变后最早进军
华北地区增援第二十九军的中国军队，曾在
大石河、
良乡镇等地区抗击日军。后奉令调归第二战区指挥，参加扼守冀晋要隘娘子关的战役。1938年初，该
集团军调归
抗日战争第五战区指挥管辖，孙连仲继任集团军总司令，其基本部队编组为第三十军和第四十二军，该集团军在
台儿庄大捷中是担任坚守任务的主力
作战部队，为台儿庄战役的胜利作出了巨大贡献。后
韩复榘旧部
曹福林的第五十五军、
宋哲元旧部
刘汝明的
国民革命军第六十八军也加入该集团军的战斗序列。1938年11月3日，该集团军第四十二军军长冯安邦在大别山战役结束后转进
襄阳市途中遭敌机轰炸而牺牲。1939年初，该集团军调归
抗日战争第一战区指挥。1940年又划回
抗日战争第五战区，长期驻守豫西南鄂北地区，曾参加过第二、
第三次长沙会战的策应作战。1943年
孙连仲调任
抗日战争第六战区司令长官，其基本部队随其调至第六战区，第二集团军总司令由刘汝明代理，下辖第六十八军、第五十五军及
石友三旧部米文和的第六十九军，参加过
常德会战及
豫西鄂北会战。