行省，這個詞最早出現在金代，是“行中書省”的簡稱。成吉思汗滅金的時候，借鑒了這種行政體制。窩闊台當上大汗之後，他把蒙古人占領的地區劃分為三個行政區。到了蒙哥掌權的時候，這三個行政區被稱為“行尚書省”。分别是，燕京等處行尚書省、别失八裡等處行尚書省和阿母河等處行尚書省。從這個劃分來看，蒙古人的管理十分粗犷，容易造成權力分散。
到了忽必烈當政後，這一情況有所改進。忽必烈對權力有強烈的掌控欲，他希望可以像漢人皇帝那樣，加強中央集權，進而鞏固蒙古人的統治。他立國号，定國都，滅南宋，終于迎來天下一統的時刻。接下來，他就要琢磨如何治理天下了。
南北統一，三個行政區的劃分方式很明顯已經落伍，這時需要新的行政機構出現。大概在忽必烈統治後期，他将天下劃分為10個行省。分别是嶺北、遼陽、河南江北、陝西、四川、甘肅、雲南、浙江、江西、湖廣。
看到這裡是不是很眼熟啊，這種劃分方法沿用到明清兩代。可能有人已經意識到，10個行省中為什麼沒有河北、蒙古、山西、山東？這個幾個地方靠近京城，由中書省直轄管理，被稱為“腹裡”。元朝統治者想要把“腹裡”打造成安全富足的地區，守護京城的安危。在這裡，既有山區、也有沿海地區，既有快捷的陸路運輸，也有友善的水上漕運。
就這樣，在忽必烈統治後期，天下被劃分成11塊，這标志着行省制的形成。以浙江為例，在行省制中的全稱叫“浙江等處行中書省”，治理杭州路，統杭州等三十路一府二州。
在這裡，又出現了一個“路”的概念，路是行政區域名，杭州路相當于後世的杭州府。一般來講，元朝行政區劃分由高到低分别是：行中書省、路、府、州。路又分為上路和下路，轄區滿十萬戶為上路，不滿十萬戶為下路。由于路和府在行政區域上沒有太大差别，元朝滅亡後，就沒有“路”這個概念了。
行省的最高官員叫丞相，為從一品官員。二把手叫“平章政事”，還有右丞和左丞。往下還有一衆官員，品級由高到低。行省丞相的權力很大，到了元朝末年皇帝害怕臣子篡權，有些行省就不再設立丞相。到明朝，朱元璋幹脆取消了丞相這個官職，改稱大學士。
元朝滅亡之後，朱元璋沿襲了行省制度。明朝滅亡後，清朝統治在制定省一級的行政制度時，延續了明朝的做法。