在郯邑(今山东郯城),后置郯县,属徐州刺史部,为县、郡、刺史部治,在氏族社会末期境内已有人群定居,时境为“东夷”之地,太嗥氏为东夷一著名酋长,少嗥氏为黄帝族向东发展的一支,与夷族杂居于此,称“炎”地,周朝时期封炎族首领于此,称炎国,后演化为郯国。春秋时期,郯国附鲁,“郯子朝鲁”、“孔子师郯子”即出于此,战国时期为越国所灭。
东海郡在秦代又称郯郡,始置年代已不可考。秦始皇灭楚国后,于楚国东部之地置陈郡、薛郡。《元和郡县志》谓秦时分薛郡置郯郡,治所在郯县。后改称东海郡,,领12县:郯县、襄贲、兰陵、缯县、朐县、下邳、淩县、淮阴、盱眙、东阳、广陵、堂邑。
秦、汉之际曾称郯郡,其时辖地在今山东省郯城一带,治所在郯城县北部;西汉时期下辖三十七县,其时辖地在今山东费县、临沂、江苏赣榆以南,山东枣庄、江苏邳州以东和宿迁、灌南以北一带地区。
汉高帝五年(前202年),徙齐王韩信为楚王,以东海郡、会稽郡、泗水郡、薛郡、陈郡置楚国。次年,废楚王韩信,分其地为二国:立刘交为楚王,以彭城郡、东海郡、薛郡置楚国;立刘贾为荆王,以东阳郡、鄣郡、会稽郡置荆国。景帝三年(前154年),削楚国东海郡,又削赵国、胶西等国,引发了七国之乱。
武帝元鼎三年(前114年),分东海郡南部数县置泗水国。成帝元延四年(前9年),东海郡治郯县,属徐州刺史部,领二十县、十八侯国。其辖境大致相当于今山东省临沂市大部,江苏省连云港市、徐州市东部一带。平帝元始二年(公元2年),东海郡有358414户,1559357人。
又《汉书》王子侯表载,东海郡有辟土、东平、运平、文成、翟彭、东淮、淯、参鬷、沂陵、江阳、藉阳、就乡等侯国,地望无考。