南北朝时为南北争夺之地，基本没有形成稳固的
行政区划。
东魏武定七年（549年）改海州为东海郡。隋初废，
大业中复置郡，改治
朐山县。唐复改海州，
天宝（742年）改东海郡，未过几年，
乾元元年（758年）又复为海州。自此，东海郡终成历史。
在郯邑（今山东郯城），后置郯县，属
徐州市刺史，为县、郡、刺史部治，在氏族社会末期境内已有人群定居，时境为“
东夷”之地，太氏为东夷一著名酋长，少嗥氏为
黄帝族向东发展的一支，与夷族杂居于此，称“炎”地，
周代时期封炎族首领于此，称炎国，后演化为郯国。
汉高帝五年（公元前202年），徙齐王
韩信为楚王，以东海郡、
会稽郡、
沛郡、
薛郡、
陈郡置 楚国。次年，废楚王韩信，分其地为二国：立
刘交为楚王，以彭城郡、东海郡、薛郡置楚国；立刘贾为荆王，以
东阳郡、鄣郡、会稽郡置荆国。
刘启三年（前154年），削楚国东海郡，又削
赵国、胶西等国，引发了
七国之乱。
刘彻元鼎三年（前114年），分东海郡南部数县置泗水国。成帝
元延四年（前9年），东海郡治
郯城县，属
徐州市刺史，领二十县、十八侯国。其辖境大致相当于今
临沂市南部，
连云港市、徐州市东部一带。平帝
元始二年（公元2年），东海郡有358414户，1559357人。
又《
汉书》王子侯表载，东海郡有辟土、东平、运平、文成、翟彭、东淮、、参、沂陵、江阳、藉阳、就乡等侯国，地望无考。
王莽改东海郡为 沂平郡。
刘秀建武十五年（公元39年），封皇子
刘庄为东海公，十七年进爵为王，东海遂为王国。建武十九年（43年），立东海王刘阳为皇太子，改名刘庄，以原皇太子
刘疆为东海王。二十八年（52年），徙鲁王刘兴为北海王，东海王刘强兼食鲁郡，东海
首都由
郯城县迁往鲁郡鲁县（
曲阜市）。东海王刘强
迁都鲁郡后，多次上书要求将东海郡归还朝廷。明帝永平中，刘强，其子刘政继立，东海郡收归朝廷，改鲁郡为
鲁国。
刘政虽以鲁国为封国，但王号不改，仍为东海王。永平十五年（72年），析东海郡之
邳州市、
曲阳县、
新沂市、良成四县与
临淮郡数县置
下邳郡。顺帝永和五年（140年）东海郡领十三县：郯县、
兰陵县、戚、朐、襄贲、昌虑、承、
沭阳县、利城、合乡、祝其、厚丘、
赣榆区。郯县仍为东海郡治、徐州州治。
刘协建安三年（198年），析东海郡、琅邪郡、
北海郡之地置昌虑郡、
利城郡。十一年，昌虑郡并入东海郡。建安十七年（212年），封皇子
刘敦为东海王，复置东海国。此时
鲁国刘羡仍为东海王，出现了两个东海王并存的局面，直至
曹魏代汉。
曹魏时废东海郡赣榆县。太和六年（232年），封文帝子
曹霖为东海王，置东海国。
晋朝复置东海郡。
太康元年（280年）复置赣榆县。此时东海郡领郯、祝其、朐、襄贲、利城、
赣榆区、厚丘、
兰陵县、承、昌虑、合乡、戚，共十二县。有11100户。元康元年（291年），分东海置
兰陵郡。
此后东海郡地域、治所开始变得混乱，频繁变更，基本没有形成稳固的
行政区划。
南朝
刘彧泰始中，青、徐二州为
北魏攻占，于赣榆县侨置
青州市。泰始七年（471）， 始置
东海县。又析赣榆县置郁州，立西海郡，属青州。
刘宋末年，东海郡领襄贲、赣榆二县，全郡有2411户，13941人。又于今江苏镇江一带置
南东海郡，领郯、祝其、襄贲、利成、西隰、
丹徒区、
武进区等县，属
镇江市。
南齐建元初，于今
江苏省涟水县一带置 北东海郡，领襄贲、僮、
邳州市、
沭阳县、曲城等县，属
冀州（侨置）。
东魏武定七年（549年），得南梁青州北海郡（侨置）之地，置东海郡，领赣榆、安流、广饶（梁侨置）、下密（梁侨置）四县，有1242户，5904人，属海州。武定八年，复置郯郡，治郯县，领郯、临沂、建陵、归昌四县，属东徐州。
北周改置朐山郡。
唐武德四年（621年），废东海郡，置海州，领朐山、龙沮、新乐、曲阳、阳、厚丘、利城、怀仁等县。
天宝（742年），仍以海州为东海郡，领朐山、东海、沭阳、怀仁四县，有28549户，184009人。
乾元元年（758年），复改为海州。