元至正19年（1359年，朱元璋己亥年），改州路为龙游府，治西安市（在今衢州市市区）；26年（1366年，元至正丙午年），又改龙游府为衢州府，西安倚廓，隶浙江省等处行中书省金衢道。

清代沿袭明制，隶浙江省金衢严道；顺治8年（1651年），浙闽总督移此；康熙23年（1684年）裁撤，西安县仍为府治外，又为金衢严道治所。下辖：西安县（在今浙江省衢州市区）、龙游县（今浙江省龙游县）、江山（今江山市）、常山县（今浙江省常山县）、开化县（今浙江省开化县）共5县。1913年废府。