父玉，东头供奉官，言怀德可试引弓、击剑、角牴，补三班奉职，为延州南安主、东路巡检。数以少击西贼，败其众。范仲淹知延州，修青涧城，奏怀德为兵马监押，以所部兵入贼境，破遮鹿、要册二砦，亲射杀其酋狗儿厢主，迁左班殿直。又率蕃汉烧荡贼
海沟、茶山、
龙柏、安化十七砦三百余帐，斩首数百级，虏马驼牛羊万数，迁右侍禁。
以
范仲淹、
韩琦荐，授阁门候，延州
庞籍入奏为东路都巡检使。夷黑神、厥保等十八砦，贼以四万骑犯边，趋仆射谷。怀德以兵数千据谷旁高原待之，斩首二百级，得畜产、器械以千数。迁内殿崇班。又以兵修龙安城，虏不敢犯，遂为延路都监。又城绥平，破贼青化、押班、吃当三砦，杀获甚众。
元昊为夏国主，命国子博士高良夫与怀德会西人画界。庞籍具论其前后功，迁供备库副使兼阁门通事舍人。时用兵久，民多亡散，怀德招辑有方，经略使
梁适奏请推其法诸路。历知保安军、
环州、环庆益利路辖，累迁至四方馆使、舒州团练使，徙鄜延路副都总管。
坐违法赂宦官阎士良，为安抚
吕景初奏，降四方馆使、英州刺史。大名府路总管，
侍卫亲军步军都虞候、象州防御使、鄜延路副都总管，迁马军都虞候，徙环庆路。环州
蕃官苏恩以其属叛，往降之。又迁殿前都虞候、步军副指挥使、
隋州观察使。
朱祁镇即位，迁静难军节度观察留后，召还，卒，赠安远军节度使。尝因战，流矢中其，镞入于骨，以弩弦系镞，发机而出之。