三国魏仍治开阳,领开阳、临沂、阳都、缯、郎丘 、华、费、安丘、剧9县。辖地开始缩小。
晋因之。
北魏,治即丘县(今临沂市河东区汤河镇故县),领即丘、武阳、费、新泰四县,属北徐州。
南朝宋,复为郡。
隋开皇三年(583)废,属县直属沂州。大业三年(607),沂州复为琅琊郡,治所在临沂(今临沂城)。共辖7县:临沂、费、颛臾、沂水、东安、莒、新泰。
唐朝武德四年(621年)改沂州,治所在临沂(今临沂城北)。天宝元年(742年)复为琅琊郡。乾元元年(758年),复改称沂州。辖5县:临沂、费县、沂水、承县(今兰陵县部分在其辖境之内)、新泰(今蒙阴县部分在其辖境内)。
五代因之。
宋朝,置沂州,治所在临沂(今临沂城)。在州名之外,还附加郡号。《宋史·地理志》就有"沂州、上、琅琊郡"的记载。这里"琅琊郡"只是沂州的一个字号,不是宋代仍存在郡级政区。至宋徽宗宣和年间,辖5县,即:临沂、沂水、费县、新泰(今蒙阴县域在其境内)、承(今兰陵县部分在其境内)。