除河北、山东、山西由中书省直接管理外，元朝在地方设置
行中书省（简称行省或省）。行省是由中央委派官员到各地署事，行使中书省职权的派出机构。
行省下有道、路、府、州、县、社。
元世祖中统元年（1260），遵用汉法，立中书省总领全国政务，始置丞相及平章政事、左丞、右丞、参知政事等宰执官。其后，相继于各大地区建立行中书省。初期，仍沿用前代制度，以中书省宰执官出领各行省，称行某处中书省事。以后此类行省实际上已成为常设的地方行政机构，与前代所置临时性的分遣机构不同，行省官若仍以中书省
宰相行省事系衔，就与中书省的权限没有区别，嫌于外重，遂更定官制，只称某处行省某官，不再带中书省宰相职衔。至元二十三年（1286），铨定省、台、院、部官，罢各行省所设丞相，只置平章政事为最高长官，以与都省相区别。后来，部分地大事繁的行省许设丞相。延佑七年（1320），复罢各行省丞相，已置者皆降为平章政事。叶顺铁木耳（1324～1328）以后，某些行省又设丞相，视需要及任职者的地位而定。各行省一般置平章政事两员（
从一品），右丞、左丞各一员（
正二品），参知政事两员（从二品），其品秩与都省官同；左司、右司合为一，置郎中、
员外郎、都事，品秩皆低于都省。元末，有些行省还增置“添设”平章、右丞、左丞、参政等官。行省掌管辖境内的钱粮、兵甲、屯种、漕运及其他军国重事，统领路、府、州、县；距离省治远的地方，另设宣慰司统之，作为行省的派出机构。