北兖州原为东晋时期侨置于京口区（今江苏省镇江市）的兖州。随着历史变迁，其名称和辖区范围经历了多次变更。

东晋时期，为了安置北方流民，在京口设立了兖州。到了义熙六年（公元410年），宋武帝平定南燕后，恢复了兖州原有的地域。由于当时南方已经有一个名为兖州区的地方，因此将原来的兖州更名为北兖州。北兖州的治所最初设在滑台（今滑县旧滑县），其管辖区域大致涵盖了现今山东省泰山以南的汶、泗流域以及鲁西平原，还包括河南省滑县、延津县、杞县东部的部分地区。刘宋初期，北兖州又恢复了原先的名称——兖州。

南朝宋时期，泰始二年（公元466年）时，再次设立了一个兖州，这次的位置是在淮安市（今江苏省淮阴西南）。这个新成立的兖州后来被命名为北兖州。在此期间，北兖州的治所一度迁至盱眙县（今江苏省盱眙东北），随后又回到了原来的位置。北兖州的辖区大约包括了现在江苏省淮河以南、运河以西以及高邮湖以北的地区。到了南梁时期，北兖州又被改称为淮州。