在中央机构方面,隋文帝首先进行了重大改革。中国夏商时代,巫史和王族是官僚机构中的主要成员。西周时期,宗族势力提高,巫史地位下降,形成庞大的政事寮辅佐天子处理天下政务。秦汉时期,建立起以三公九卿为主体的官制,封建官僚体制模式基本形成。魏晋南北朝时尚书省、中书省、门下省三省制度渐成规模。至隋文帝,废除了北周仿效《周礼》而设置的“六官”,继承和健全了魏晋南北朝以来的三省六部制,其后遂成为中国封建政权的基本模式。
所谓三省,即中书省、门下省、尚书省。三省长官均为宰相,但职责又各不相同。他们共同对皇帝负责,这主要是防止各省长官专权。中书省是决策机构,负责草拟和颁发皇帝的诏书。门下省是审议机构,负责审核和评议国家的政令。尚书省是执行机构,负责贯彻天子旨意和处理天下事务。尚书省又下设吏、户、礼、兵、刑、工六部,分司官员考核、户口赋税、礼仪教育、军政战事、司法讼诉、工程营建等方面事宜。六部之外,其他事务部门还有九寺五监。九寺是太常、光禄、卫尉、太仆、大理、宗正、鸿胪、司农、太府。五监是国子、将作、少府、军器、都水。由于尚书六部分主各门行政,九寺的事权受到削弱而仅限专管。如太常寺分管皇家宗庙仪礼,光禄寺为皇帝出谋划策,卫尉寺掌管宫廷警卫,太仆寺掌管皇帝车马,大理寺掌管刑狱,宗正寺掌管皇族事务,鸿胪寺主管朝贺庆吊,司农寺掌管农业财政,太府寺掌管财政收藏和手工制造。唐太宗时,因其当过尚书令,故改用尚书省的左右仆射为宰相。各部的长官称尚书,副职为侍郎。部下设司,司长为郎中,副职为员外郎。
三省六部制既有明确分工而又互相配合牵制,加强和巩固了皇权,提高了行政效能,适应了时代要求。三省六部制也多少可以遏制皇权的失误,防错纠偏,补缺拾遗,因而是当时先进而开明的政制。隋初及唐初三省六部制良性运转,也就促进了国家的兴旺发达。但其遭到破坏之时,国家政治就会出现偏差。盛唐以后,皇帝多不信宰执,也是因为宰执日益专权。故又出现枢密使一职,由宦官担任,此后朝政每况愈下。不能否认三省六部制在历史上的进步作用,唐太宗、唐玄宗前期用人得当,故成太平盛世。至于后期有所懈怠,以致昏昧失政,正是封建社会难以尽除的病根。“人治”大于“法制”,一切由皇帝说了算,因此天下系于一人之手。三省制对皇帝威权有所约束,以致宰相擅权飞扬跋扈,也是皇帝有所不安的心病。因而君臣之间的微妙关系历来取决于各人的素质,三省六部制却大体一直沿用下来。