今日的山东，并非古代所指的“山东”。早在战国时期，“山东”这一名称就出现了。当时，秦国称雄，同齐、楚、燕、韩、赵、魏六国形成了东西两大势力集团。秦国踞关中，六国则在崤山、函谷关以东，那时的“山东”，是泛指崤山以东的黄河流域。
山东被明确地划为一个独立的行政单位，开始于南宋，正式形成于金。宋朝将全国划分为十五路，“路”即相当于现在的省。今日的山东地区属京东路与河北路。女真族占领中原，设立了金政权，行政区划仍沿用宋朝“路”的旧制，将京东路改称为山东，并将其分为山东东路与山东西路。东路治所在益都府，今益都县；西路治所在东平府，今东平县。明代废除旧制，在全国设立了十三个布政使司，俗称省。山东即是其中的一个，称山东布政使司。清朝时称为山东省，并以济南府为省会。民国时称山东省，仍以济南为省会，直至今天。