徐州在历史上并不属于山东。
原始社会末期，帝尧时彭祖建大彭氏国，是江苏境内最早出现的城邑。徐州历史上为华夏九州之一，自古便是北国锁钥、南国门户、兵家必争之地和商贾云集中心，也是淮海地区的政治、经济、文化中心。
历史沿革：
徐州历史悠久，6000多年前，徐州的先民就在此生息劳作。
原始社会末期，尧封彭祖于今市区所在地，为大彭氏国，徐州自此称彭城。
春秋战国时，彭城属宋，后归楚，秦统一后设彭城县。
楚汉时，西楚霸王建都彭城。
西汉设彭城郡，东汉设彭城国、建都彭城。
东汉时，州名。辖郡、国五，县六十二。治所郯县，在今山东郯城县。汉末移治下邳，在今江苏邳县东。
三国曹魏移治彭城，即今江苏徐州。辖境相当于今江苏长江以北及山东南部地区。三国时，曹操迁徐州刺史部于彭城，彭城自始称徐州。
魏晋南北朝各代曾设彭城国或徐州，都城或治所多在彭城。
隋时设徐州，后改彭城郡，治彭城。
唐初，徐州与彭城郡名称多次互易，中后期徐州为节度使驻地。五代时各朝置有徐州，治彭城，领7县。
宋、元两朝都置徐州，隶属和辖领变化较频。
明初徐州曾直隶京师，后属南京。
清初，徐州先后为江南省和江苏省所属直隶州，雍正末年升为徐州府，辖领1州7县。
民国初，府废，徐州府地附郭铜山县，后曾设徐海道，治所在铜山（徐州）。
日伪时曾为伪淮海省省会。中华民国时期，徐州为国家重点建设的八大城市之一。
抗日战争胜利后，国民政府仍置徐州市，属江苏。著名的三大战役之一的淮海战役就是以徐州为中心展开的。
1949年因江苏省尚未完全解放，徐州市暂由山东省代管。1953年划回江苏省，并同时成立徐州专区。专署驻徐州市。
1958年，原由江苏省辖的徐州市划归徐州专区领导。
1962年，徐州市改为省辖市。
1970年，徐州专区改称徐州地区。
1983年，江苏撤销地区专员公署，实行市管县的建制。