秦汉以来，地理行政区划大抵依山川地形的自然界线或历史传统等因素来确定，政区的自然属性与经济、文化一体化趋势较强，容易产生割据局面。从元代开始，行省区划主要以中央军事控制为目的，采取“犬牙交错”的原则，任意将自然环境差异极大的地区拼成一个省级行政区，削弱地方的经济、文化认同感，人为地造成犬牙交错和以北制南的局面。从而使行省官失去了扼险而守、割据称雄的地理条件，朝廷就比较容易控制了。
北宋为了强化中央集权，极力从军、政、财、司等各方面削弱地方，造就强干弱枝的政治局面以巩固中央集权。明代也是把地方权一分为三，分别为承宣布政使司、提刑按察使司、都指挥使司，这也是通过分地方之权以加强中央集权的。而处于它们之间的元代却反其道而行之，实行行省制度，地方行省权力相当之大，以至于“军国重事，无不领之”，可它依然巩固了元代的统治、加强了中央集权，使元代作为草原游牧民族建立的大一统王朝，能够对空前广袤的疆域统治近百年，而不是按正常思路所想的容易出现国家分裂、军阀割据。
元朝统一全国后的疆域北到西伯利亚，南到南海，西南包括今西藏、云南，西北至今新疆，东北至鄂霍次克海。“元之天下视前代所以为盛”（《元史·兵志四》），元朝的疆域比以往任何朝代都辽阔。《元史·地理志》中也写道，“自封建变为郡县，有天下者，汉、隋、唐、宋为盛，然幅员之广，咸不逮元。”面对这样一个大国，如何对地方进行有效的管辖，如何加强中央集权制，是关系到政权能否巩固的大问题。
元朝沿用大蒙古国以来的游牧分封制，大量宗室外戚被分封于漠北和东北地区，在中原又各自领有大小不等的份地。对于这些皇亲国戚及其狐假虎威的家臣，一般的地方官府难以治理，非设立位高权重的行省不足以压制。
元朝作为历史上第一个由北方少数民族建立的全国统一王朝，一直遭到南宋残余势力长期的抵抗，后来江南人民又因不堪赋役重负而纷纷起事。在这样的背景下，位尊权重的行省不但不能罢撤，反而需要进一步强化事权、明确责任，以便遇到紧急事变能够迅速决策并付诸行动，维护元朝的统治。即使大一统局面完全形成之后，行省在稳定地方统治方面的特殊价值，也没有消失。这就为行省在全国范围内的定型奠定了基础，使得行省的基本性质由中央派出机构演化成为地方最高官府。
综合各方面的原因，忽必烈即位后，采用汉制，在开平建立了中书省，作为全国的最高行政机构。后来随着元代统治中心迁往燕京（今北京），忽必烈在燕京又设立了行中书省，以实行中书省的职责。约在中统三年，中、行两省自然合并，此后就不再有“燕京行中书省”。
正如中书省是全国的最高行政机构，行中书省则是地方的最高行政机构。在习惯上行中书省则被称为行省；在设立尚书省主持政务期间，又改称为“行尚书省”，简称“省”。
“省”的本意为宫禁，后又引申为中枢机要、行政机构的名称，因此行省起初是指临时性的中央派出机构，取代表中央行使权力之意，它多是因军事需要而设的临时机构。行省制度滥觞于魏晋南北朝、隋朝、唐初以及金初短期出现过的“行台省”，到金朝后期再出现时，已较频繁地使用行省这个简称（以前通常简称“行台”）。如金末，为抵御蒙古和镇压农民起义，君主常命宰臣出任诸路长官，或以宰相职衔授予地方长官，皆称行省，先后设有大名、河北、陕西、河东、中都、山东、东平、辽东、上京、益都、京东等行省。
1260年5月，也就是在忽必烈设立中书省一个月后，随即设置了十路宣抚司，“以总天下之政”。这十路分别是：燕京路、益都济南等路、河南路、北京等路、平阳太原路、真定路、东平路、大名彰德等路、西京路、陕西四川路。每司分领一路或数路，派藩府旧臣出任宣抚使、副，作为朝廷的特命使臣，监督和处理地方政务。但宣抚司无处置军务的权力，使、副又多数没有宰臣职衔，如果发生叛乱或社会治安等方面的特殊情况就不足以应付了。于是忽必烈把一些地区改置行中书省。1261年11月，忽必烈撤销了十路宣抚司。在第二年的12月，重新设立十路宣抚司，但将它作为中书省的派出机构。
忽必烈在外路设立的第一个行中书省是陕西四川行省（京兆行省）。陕西四川行省设立在阿里不哥叛乱时期。1260年，京兆宣抚使廉希宪到任时，为防止阿里不哥已派来的亲信大臣刘太平联络六盘山及四川蒙古军帅，占据京兆地区。廉希宪果断地捕杀了刘太平等人，征调秦、巩等处诸军进入六盘，发仓库金银充军赏，同时遣使入奏，自劾越权的罪过。忽必烈没有责怪他，因为这是他建立的制度存在缺陷而造成的。所以在这件事后，他赞赏廉希宪善于行权应变。这一年的8月，忽必烈将京兆宣抚司改置为行省，即陕西四川行省，以廉希宪为中书右丞，行行省事。这以后，忽必烈又在其他地区先后设立了行省。由于种种原因，几经置废分合，最后稳定为十个行中书省，分统除中书省直辖诸路以外的各大地区，形成了“都省握天下之机，十省分天下之治”的行政区划格局。
吐蕃地区直属中央机构宣政院统辖，所以不置行省机构，但也被视为一个行省。这样，元朝全境共划分为十二个一级政区，即中书省直辖、十行省及吐蕃。在1286年以前，行省仍属于中书省的临时派出机构。直到1290年，忽必烈在晚年再次调整了行省建制。他将山东、山西、河北等地直接划归中书省管辖，称为“腹里”。腹里以外的地区则分置岭北、辽阳、河南、陕西、四川、甘肃、大理、江浙、江西、湖广十个行省。自该年始，行省各长官不再是中书省衔。这样行省就成为了最高地方行政机关。不过，吐蕃和畏兀儿地区另立管辖机构，不在这一范围之内。
在元代，中书省与行省以下的行政区，划分为路、府、州、县四级。路设总管府，置达鲁花赤、总管、同知各一员。一般州、县归路管辖，县由州管辖。府的地位有些不同，有的直接归省管辖，有的归路来管理。不过具体的管辖归属要看具体情况。而路、府、州、县按人口的多寡、地域的广狭，又分为上、中、下三等。距离行省机构远的地区，元朝则设置宣慰司，作为省的派出机构。宣慰使依旧没有军权。在边境地区，元朝则置宣慰司都元帅府，使宣慰使皆兼帅权。在宣慰司下，还设有宣抚司、安抚司、招讨司、长官司等。这些地区的官吏多用当地土官。
元朝时期，县以下坊里制与社制并存。坊是指隅和坊，都是城市的基层组织，设有隅正、坊正来管理日常事务。在乡村地区的基层组织机构则分为乡和都两级，有的地区仅有乡或都一级。在乡设里正，在都设主首，用来管理乡都事务。除此以外，1270年，忽必烈又颁布了“农桑之制十四条”，规定在农村普遍推行社制，以五十家立一社，选择年长通晓农事的人为社长。设立社的目的是为劝导农业，维护乡村秩序。社制在部分城市中也得以推行。
作为民族统治的得力工具，元朝行省主要由蒙古、色目官员掌握权力。以最关键、最敏感的统军权为例，行省官员中只有平章以上得掌军权，而平章以上又不准汉人担任，通常只能由蒙古、色目贵族担任。“虽德望汉人，抑而不与”（《元史》卷一八六《成遵传》），这些人更多的是元朝中央集权统治的忠实维护者，很难成为地方割据势力的代表。因为作为一个异族身份、文化背景迥然不同的行省长官，即使大权在握，也很难想象他会策动汉族或者能够策动汉族搞分裂。总之，元朝统治的民族色彩，在很大程度上决定了行省主要代表朝廷的意志和利益行事，成为中央控制地方的得力工具，而不会走向中央的对立面。
元代的行省制度虽然与唐宋以来汉族社会日益强化的中央集权观念确实有很大的抵触，但它作为元代社会发展的产物，还是起到了它在加强中央集权、巩固统治的目的，同时也对后世的政治制度尤其是地方行政区划产生了深远的影响。