在中央机构方面，隋文帝首先进行了重大改革。中国夏商时代，巫史和王族是官僚机构中的主要成员。西周时期，宗族势力提高，巫史地位下降，形成庞大的政事寮辅佐天子处理天下政务。秦汉时期，建立起以三公九卿为主体的官制，封建官僚体制模式基本形成。魏晋南北朝时尚书省、中书省、门下省三省制度渐成规模。至隋文帝，废除了北周仿效《周礼》而设置的“六官”，继承和健全了魏晋南北朝以来的三省六部制，其后遂成为中国封建政权的基本模式。
所谓三省，即中书省、门下省、尚书省。三省长官均为宰相，但职责又各不相同。他们共同对皇帝负责，这主要是防止各省长官专权。中书省是决策机构，负责草拟和颁发皇帝的诏书。门下省是审议机构，负责审核和评议国家的政令。尚书省是执行机构，负责贯彻天子旨意和处理天下事务。尚书省又下设吏、户、礼、兵、刑、工六部，分司官员考核、户口赋税、礼仪教育、军政战事、司法讼诉、工程营建等方面事宜。六部之外，其他事务部门还有九寺五监。九寺是太常、光禄、卫尉、太仆、大理、宗正、鸿胪、司农、太府。五监是国子、将作、少府、军器、都水。由于尚书六部分主各门行政，九寺的事权受到削弱而仅限专管。如太常寺分管皇家宗庙仪礼，光禄寺为皇帝出谋划策，卫尉寺掌管宫廷警卫，太仆寺掌管皇帝车马，大理寺掌管刑狱，宗正寺掌管皇族事务，鸿胪寺主管朝贺庆吊，司农寺掌管农业财政，太府寺掌管财政收藏和手工制造。唐太宗时，因其当过尚书令，故改用尚书省的左右仆射为宰相。各部的长官称尚书，副职为侍郎。部下设司，司长为郎中，副职为员外郎。
三省六部制既有明确分工而又互相配合牵制，加强和巩固了皇权，提高了行政效能，适应了时代要求。三省六部制也多少可以遏制皇权的失误，防错纠偏，补缺拾遗，因而是当时先进而开明的政制。隋初及唐初三省六部制良性运转，也就促进了国家的兴旺发达。但其遭到破坏之时，国家政治就会出现偏差。盛唐以后，皇帝多不信宰执，也是因为宰执日益专权。故又出现枢密使一职，由宦官担任，此后朝政每况愈下。不能否认三省六部制在历史上的进步作用，唐太宗、唐玄宗前期用人得当，故成太平盛世。至于后期有所懈怠，以致昏昧失政，正是封建社会难以尽除的病根。“人治”大于“法制”，一切由皇帝说了算，因此天下系于一人之手。三省制对皇帝威权有所约束，以致宰相擅权飞扬跋扈，也是皇帝有所不安的心病。因而君臣之间的微妙关系历来取决于各人的素质，三省六部制却大体一直沿用下来。