该军前身是傅作义所属的暂编第3军。1940年，傅作义为加强华北地区地区的军事力量，组建了暂编第3军，隶属华北“剿匪”总司令部。孙岚峰任军长，下辖：暂编第10师、暂编第27师、暂编第31师。1948年初，暂编第31师改称第161师；暂编第10师改称第196师；暂编第27师番号不变

1948年9月，暂编第3军改称第104军，安春山任军长，王宪章任副军长，郝勤福任参谋长。原第161师改称第250师，王建业任师长，王步云任副师长，孙伯缘任参谋长；原第196师改称第258师，张惠缘（后赵树桥）任师长，刘一平任副师长，王鸿鹄任参谋长；暂编第27师改称第269师，慕新亚任师长，戴增俊任副师长。

1948年12月5日，国民党第35军由张家口市撤回北平市途中，被人民解放军围困于新保安镇附近，第104军第250师、第269师奉命前往解围，被人民解放军包围于怀来县东面的横岭关一带，大部被歼。此次作战后，该军以第250师、第269师残部为基础重新组建第250师、第269师；12月下旬，第258师在怀来中国西南地区，被人民解放军包围后全歼，师长张惠源被俘。

战后，傅作义将直隶“剿匪”总司令部的第309师改编为第258师，改隶该军序列。1949年1月，该军在平津战役第一阶段中，先后于平绥线怀来、康庄地区被人民解放军歼灭大部，少将副军长王宪章、少将参谋长郝勤福、少将政工处长张沧等被俘。军长安春山被俘后伪称伙夫，被释放后溜回北平市，收容残部，重新组建该军。同年1月下旬，该军跟随傅作义参加北平起义，接受人民解放军的改编。