“省”的名称从汉代开始，但最早的省，并不是地方行政区的名称。它的出现，就是由古时的避讳造成的。原来，在封建社会里，王宫属禁地，戒备森严，宫外人非宣召不得人，所以称之为“禁中”。西汉昭帝立元氏为皇后，元皇后的父亲名禁，为避国丈的名讳，改“禁中”为“省中”，“省”于是成为禁宫的称呼。
魏晋南北朝时，朝廷将政府机要部门设在省中，以后历代相沿，省就成了官署之名，如门下省、尚书省、中书省等等。其中的中书省秉承君主意旨，执掌枢要，发布政令，权位尤为显赫。到唐代，中书省正式成了全国政务中枢，元朝更以中书省总领百官，成为中央最高行政机关。元世祖忽必烈又分别在河南、江西、四川、云南等十一处设立中书省，简称行省，行省置丞相、平章等官，与中书省互为表里，管辖所属府、路、川、县的军政事务。从元代起，行省开始成为地方最高行政区。
明朝建立之初，承袭元制。洪武九年，明太祖朱元璋因行省区域太大，改行省为布政司，缩小其管辖范围，但朝野仍习惯称省。
清朝又恢复省的称呼，初定全国设直隶、山东、山西、四川等18省，后增设奉天、吉林、黑龙江3省，光绪中又增设新疆、台湾2省。辛亥革命后，中华民国又增设了青海、西康、热河、察哈尔、绥远、宁夏6省。中华人民共和国成立以后，在全国先后设置了34个省、市、自治区及特别行政区。