平凉郡，
前秦苻坚建元元年 (365年)置平凉郡，取平定前凉之意。郡治在阳晋川，即今宁夏
彭阳县的红河川，
北魏时将平凉郡治移于今
平凉市东四十里铺径河北岸、小卢河口之曹湾，即
刘义隆元嘉六年 (429年)赫连定所徙之阴架城。
北周时废平凉郡而为
崆峒区。阴架县亦废。
隋炀帝大业初，以
原州区为
平凉市郡，平凉县属原州。唐初，废郡，复
原州区，平凉县仍属原州，
李隆基开元五年 (717年)，移平凉县治于
泾河之南，即今平凉市城关。
历史沿革平凉市位于陇山东麓，
泾河上游，是
关中西去北上的古道要冲；又依六盘三关之险，历来是兵家必争之地。历史悠久，建制变革较大。公元前二七二年，
秦昭襄王灭义渠戎，置
陇西县、
北地郡、
上郡，
平凉市入秦的版图，属
北地郡。
刘彻元鼎三年(公元前一一四年)分北地郡置
安定郡(治所在
高平市，今
宁夏回族自治区原州区境)，
平凉市全境改属安定郡；
东汉并
泾阳县入朝那，平凉属凉州刺史部安定郡的朝那、乌氏二县。
三国时
曹魏于郡上设州，此地属雍州安定郡，恢复了
泾阳县。
西晋又废泾阳县，新置都卢县，
平凉市境东部属
朝那县，西部属都卢县。十六国
南北朝是最乱的时期，平凉全境先后为
前赵、
后赵、
前秦、
后秦、夏、
北魏、
西魏、
北周所领有，建制变化很大。前秦
永兴二年(公元三五八年)
苻坚欲进攻
平凉市，置平凉郡(初治
高平镇，后治鹑阴)，取平定
前凉之意，平凉之名始见于史册。以后，前秦苻坚曾以平凉为根本，向后秦反攻：夏
赫连定曾即皇帝位于平凉。
宇文邕建德元年(公元五七二年)于今市境的西北部治
崆峒区，属长城郡。是
平凉市建制的开始，距现在一千四百一十年。
隋朝，
开皇三年(公元五八四年)废郡置州，平凉市属
原州区。
大业初又废州置郡，平凉市属平凉郡。唐武德元年(公元六一八年)复置
原州区，
治平高。
天宝(公元七四二年)再改平凉郡，旋复为原州，
平凉市属原州。贞元七年(公元七九一年)泾原
节度使刘昌筑平凉城扼弹筝峡口，奠定今平凉市城址，距现在一千一百九十一年。
李纯元和四年(公元八零九年)移行渭州于
平凉市，
平凉市废。广明初复陷
吐蕃，中和四年收复为
陇西郡治。唐末，
李茂贞据
凤翔区称岐王，渭州属于岐，历
后梁。
后唐明宗
天成元年(公元九二六年)灭岐，渭州属后唐。后唐清太二年(公元九三五年)以原平凉市的安国、耀武二镇复置平凉市，属
泾州；后晋
天福五年( 公元九四零年)改属渭州。宋代，仍为渭州治所，属泾原路，为泾原路
经略安抚使驻地，与
西夏接壤，是当时的军事重镇；至大观二年，共领泾州、
原州区、渭州、
西安州、会州、
德顺军、镇戎军、怀德军等五州三军，遂代泾州、原州成为这一地区的政治军事中心。
宋徽宗政和七年(公元一一一七年)置平凉军，设
节度使。金代开六盘道，
大定二十七年(公元一一八七年)始置
平凉府，辖五县，属
凤翔路。
平凉市为府治所。元代仍以
平凉市为府，辖三县，属巩昌总帅府，并潘原县入平凉市，平凉市仍为府治所。自此，平凉市的辖境再未有大的变动。明代的平凉府辖三州七县，属陕西布政使司
关内道；平凉市仍为府治所。
清代沿明制，属陕西布政使司。
康熙八年(公元一六六九年)改属甘肃布政使司，平凉仍为府，府上设道：初为平庆泾固化道，
同治末改为平庆泾固化盐法兵备道，
崆峒区为道、府治所。一九一二年即民国元年废府，仍设道观。一九一三年改平庆泾固化道为陇东道，设观察使；后改为泾原道，设道尹。一九二七年改设泾原区行政长，一九三五年改为
甘肃省第二区行政督察专员公署。平凉县为道、署驻地。一九四七年七月二十八日平凉解放，成立了
平凉市人民政府。