中国人民解放军第68军的前身是中国人民解放军华北军区第6纵队。该纵队是由冀中军区独立第7、第8旅和冀晋军区及察哈尔军区各一部组建而成的。

1947年12月6日，晋察冀军区根据中央军委指示，以冀中军区、察哈尔省军区各一部在河北省定县组成第6纵队，由文年生任司令员，向仲华任政治委员，萧新槐任副司令员兼参谋长，张挺任副参谋长。下辖原冀中军区独立第7旅改称的第16旅（辖第46、47、48团，旅长廖鼎祥、政委李斌、参谋长唐丕光、政治部主任张宗胜）、独立第8旅改称第17旅（辖第49、50、51团，旅长徐德操、政委李致远），原察哈尔军区第6分区和冀晋军区第1、第4分区各1个独立团台编而成的第18旅（辖第52、53、54团，旅长罗文坊、政委严庆堤），共17044人，隶属于晋察冀野战军。纵队成立后，参加平汉路北段破击战。

1948年1月，纵队奉命从满城区地区出发，初战保(定)西北，歼敌675人。3月至4月，第6纵队参加察南绥东战役，歼敌4700余人。5月，中国人民解放军华北军区第2兵团成立，第6纵队隶属该兵团建制。并新调旷伏兆任副政治委员兼政治部主任。7月，参加保北战役，活捉敌整编第31师少将师长陈治平、少将副师长卢继云以下官兵4100余人，毙伤敌779人。8月，华北军区第3兵团成立，第6纵队转隶该兵团建制。9月，从易县进军绥远省，参加了察绥战役，歼敌2258人，同友军一起解放了绥远和察北广大地区。同月，旷伏兆调离该纵队，由王紫峰任副政治委员兼政治部主任。1948年12月至1949年1月，第6纵队从绥远兼程南下，参加了平津战役，攻万全区、围张家口市，协同友军解放了张家口、宣化区等城镇，取得生俘敌中将军长袁庆荣，歼敌9000余人的战绩，为和平解放北平市做出了贡献。

1949年2月，根据中共中央军委关于统一全军编制序列及部队番号的命令，华北军区第3兵团改称第20兵团，第6纵队在北平奶子房改称中国人民解放军第68军，隶属中国人民解放军第20兵团。文年生任军长，向仲华任政治委员，徐德操任副军长，所辖第16旅改称第202师（辖第604、605、606团），廖鼎祥（后陈应寿）任师长、李斌任政治委员、唐丕光任副师长兼参谋长、范保顺任副政委兼政治部主任；第17旅改称203师（辖第607、608、609团），杨栋梁任师长、李致远任政治委员、李德才任副师长、祖岳嵘任参谋长、白正刚任政治部主任；第18旅改称第204师（辖第610、611、612团），罗文坊任师长、严庆堤任政治委员、王钧任副师长、张宗胜任副政委兼政治部主任。军属炮兵团，团长李昆、副团长王庆华。全军共2．9万余人。独立第25师（由原国民党军第16军第22师改编，4月，参加太原战役，生俘敌少将师长张忠、阎俊贡以下官兵8337名，歼敌955名。太原战役结束后，部队进驻阳高县、天镇县、罗文皂、金家庄地区整训练兵。5月，徐德操任军长，漆远渥任政治委员，宋学飞任参谋长，张逊之任政治部主任。同月，由国民党军第16军第22师改编的独立第25师编入该军（辖第1、2、3团，师长梁诗传、政委白正刚兼、副师长刘震兼、政治部主任惠士荣兼）。10月，部队由山西省进驻天津市、唐山地区，担负保卫海防任务。

1950年8月，第20兵团番号撤销，第68军直属中国人民解放军华北军区领导。1951年2月重建第20兵团，第68军又归第20兵团建制。

1951年2月，部队集结于天津附近，补充兵员、更换新的装备并整训部队，为赴朝作战作准备。6月9日，第68军在第20兵团编成内入朝作战，部队改称中国人民志愿军第68军，军长陈坊仁、政委李呈瑞、副军长宋玉林、参谋长宋学飞、政治部主任严庆堤。下辖第202师，师长陈应寿（后黎光、李克林）、政委李斌（后田波）；第203师，师长杨栋梁、政委李致远（后惠士荣）；第204师，师长曹玉清（后王钧）、政委范保顺；另配属炮兵第6团。全军共4.6万余人。先后担任北汉江至文登里一线的防御任务，粉碎敌“秋季攻势”和“坦克劈入战”，完成东海岸抗登陆作战的准备工作，参加金城地区的反击作战等。与敌作战1021次，歼敌74844人，其中美国军队10416名、南韩军64392名、希腊军36名，毁伤敌坦克152辆，击落击伤敌机696架，缴获大量武器装备。第68军在抗美援朝战争3年零10个月的战斗中，涌现出许多英雄单位和英雄个人。其中功臣单位26个，立功个人24018名，其中特等功臣13名，一等功臣178名，“奇袭白虎团”的著名战斗英雄杨育才、志愿军女英雄解秀梅、坦克英雄胡连等就产生在这支部队。1954年9月，第68军奉命担任永柔以西，隶川以东、新安州西南地区防空作战任务。1955年3月奉命回国。

第68军在解放战争中，参战16个月，转战晋、察、冀、绥四省广大地区，行程万余里，先后参加了保西北、晋察绥、保北、绥远省、平津、太原市等重大战役，攻占城镇16座，歼敌3万余人，涌现战斗功臣10985人。

1955年4月，第68军划归新成立的中国人民解放军济南军区，驻江苏徐州及其附近地区。

1975年，经中央军委批准，第68军与沈阳军区第46军对调。第68军移驻吉林市。

1985年百万大裁军，第68军番号撤销。同年8月，该军改编为赤峰守备区（军级），移驻内蒙古自治区赤峰市，所属各师均改编为守备师，驻防林西县等地，面向驻蒙苏联红军，负责东北地区西南方向防务。

1992年，赤峰守备区及其所属部队全部撤编，第68军战斗历史即告结束。