安康郡成立于南朝刘宋升明二年（478年），由原魏兴郡安康县和原晋昌郡宁都县合并而成，隶属于梁州，下辖两个县。安康县在两汉时期称为安县，属于汉中郡，后被撤销。三国时期的魏国恢复了该县，归于魏兴郡。晋武帝太康元年（280年）更名为安康。宁都县则是因为安置了来自蜀郡的流民而设立，最初属于晋昌郡，但在升明二年被撤销，后来成为新兴郡的一部分。南齐继续沿用这一行政区划，西魏时期设立了东梁州，不久后更名为金州。南梁萧詧在位期间，将安康郡划归直州管辖。隋朝开皇三年（583年）取消了郡制，大业初年（605年）也取消了州制，安康县更名为安康，归属西城郡。

武德元年（618年），唐朝将隋朝的西城郡改制为金州，治所设在西城，辖区包括洵阳、石泉、安康等县。同时设置了西安州，下辖宁都、广德两县。随后，西安州又被更名为直州。到了武德三年，金州设立了总管府，管理金、井、直、洵、洋、南丰、均、渐、迁、房、重、顺共十二个州。贞观元年（627年），直州被废除，宁都、广德两县并入安康。天宝元年（742年），金州再次更名为安康郡。至德二年二月，安康郡更名为汉南郡。乾元元年，汉南郡又恢复为金州。