唐武德二年(619)于今古县村置浮山县，属晋州市。金大定七年(1167)复名浮山县。元复称浮山县，属晋宁路。

春秋时属晋，战国时属魏，秦属河东郡。汉为襄陵县地，北魏置葛城县，北齐并入禽昌县，北周置郭城县，隋废，仍为襄陵县地。唐武德二年(619)于今古县村置浮山县，属晋州。三年，见“神人”于羊角山下，故改名钟山县。五代十国、宋俱名钟山。后唐同光二年(924)移今治。宋属平阳府。金大定七年(1167)复名浮山县。兴定四年(1220)改名忠孝县。元复称浮山县，属晋宁路。从此以后均名浮山，明、清属平阳府。民国属河东道。抗日战争时期为我根据地，曾以临浮公路为界，南为青城县，北为浮山县。1947年4月县城解放，恢复浮山县建制。今属山西临汾市。