山东一名，是典型的以山川地理概念来命名的。主要指崤山、函谷关、华山或太行山以东的黄河流域广大地区。
大禹分九州时，山东属青州。到了周朝，实行“封邦建国”分封制，山东这块土地上分封了诸多诸侯国，包括齐国、鲁国、莒国、滕国、纪国、邾国等，其中以齐国、鲁国最强盛，所以后人常称呼山东为“齐鲁大地”。
到了战国时代，齐国成为七雄之一；而今日山东的大部分地区都由齐、鲁两国拥有。“山东”之名始见于金朝，设置 山东东路及山东西路 ；元朝时，在山东地区设立了东平行省、济南行省、山东淮南楚州行省、益都行省、 山东行省 等。山东首次以行政区之名出现。直到清朝初设置山东省，此为正式得名。
金朝 ，设置山东东路及山东西路，东路治益都，西路治东平。
元朝 ，在山东地区设立了东平行省、济南行省、山东淮南楚州行省、益都行省、 山东行省 等。行省下设路、府、州、县，形成了四级地方行政制度。
明朝， 沿袭元制的行省制度，后改制分为三司（都指挥使司、布政使司、提刑按察使司，合称“都、布、按”三司），设立山东布政使司。
清朝 初，设置山东省，“山东省”正式成为省名。
山东这片土地，又名齐鲁大地，其实可以简称“齐”和“鲁”都是可以的，但最终选择“鲁”而未选择“齐”，大概有如下几个原因。