开皇元年（581年）二月，隋文帝废除了北周实行的六官制度，对现有的政治制度作了彻底地改革。
当初，宇文泰的军队主要是出自边镇军将，其军事实力远远比不上雄踞山东的高欢，文化上更难与儒学深厚的南朝相比。宇文泰比谁都清楚，要想和山东的高欢以及南朝抗衡，除了军事实力外，受重要的是要在文化上超过他们。因此，宇文泰让谋臣苏绰、卢辩和裴政等人制定礼仪制度，按照《周礼》模式设置了六官制度。
六官官名和天、地、春、夏、秋、冬六种自然现象有关：中央设立大冢宰，即天官；大司徒，即地官；太宗伯，即春官；大司马，即夏官；大司寇，即秋官；大司空，即冬官。这六位长官，各司其职，其中大冢宰权力最大，即“五府总天官”。
这种出于权宜之计而穿凿拼凑的制度，实行不久就难以为继。同时，这种政治体制，存在着一定的弊端。首先，除皇帝外，大冢宰官最高，管辖其他五官，一人之下万人之上的权力，此时的大冢宰时刻威胁着皇权。所以，周武帝亲政后，大冢宰便不再居大，变为和其他五官平级的官，六官皆直接听命于皇帝。到宣帝时，设置大前疑、大右弼，大左辅和大后丞四辅官，四官之间互相牵制，不分高下。同时，四辅官又是管理百官的官。
然而，北周制度是建立在分封诸国的基础上，这与宇文泰谋求中央集权的意图大相径庭。因此，他严格限定六官制度仅适用于部分中央机构，几不利于宇文氏集权者，则根据需要杂行胡汉旧制，即《周书·卢辩传》所谓：“于时虽行《周礼》，其内外众职，又兼用秦汉等官。”北周统一中原之后，当年那种军事立国的特定环境改变了，和平时代当然无法继续维持战时的军政体制。何况在北齐制度的对照下，北周官制更显得不伦不类，其被摈弃已是大势所趋。
隋文帝亲历过宇文护专权的时代，对六官制度的弊端看得清清楚楚。就是因为这种制度存在诸多弊端，才让宇文护肆无忌惮连杀两帝，权倾朝野。文帝认为官职制度必须要改革。君臣经过商议，以北齐的官制为基础，革旧图新，取长补短，吸收南朝三省制度的优点，重新制定了一套适合隋朝发展的政治体制，最后确定为三省六部制。
所谓“三省”，包括尚书省（管理全国政务）、门下省（审查政令及封驳）、内史省（起草诏令），三省长官都是宰相，此外，还有秘书省、内侍省（宦官），省与尚书、门下、内史并称五省。五省中前二省权力最大，二省中又属尚书省虽为重要，它是国家最高行政机关，其下设吏部、礼部、兵部、都官、度支、工部六部。每部设尚书为长官，总管本部政等。
吏部，掌管全国官吏的任免、考核、升降和调动，兼掌文官的选授考课。
度支部，掌管全国的土地，户籍以及赋税、财政收支等。
礼部，掌管学校、祭祀、礼仪和对外交往。
兵部，掌管全国武官的选拔和兵籍、军械等。
都官部，掌管全国的法律、断狱诉讼等司法事宜（583年改为刑部）。
工部，掌管各种工程、匠、水利、交通等有关政令。
尚书省为最高行政机构，设尚书令一人，左、右仆射一人，为正副长官。由于尚书令是皇帝之下的最高官级，对皇权很有威慑力，从某种意义上，尚书令最接近原来意义上的大冢宰，文帝在自己的皇帝生涯中，他从没任命任何大臣担任此职。尚书令在隋唐两代几乎是空缺。这几乎成为隋唐两代的惯例，故左、右仆射为尚书省实际长官，其中尤以左仆射为重。仆射之下设左、右丞各一人，都事八人，于都省办公，分司管辖。下设吏部、礼部、兵部、都官、度支和工部六部，每部设尚书一人，为其首长。左、右仆射与六尚书合称“八座”，构成尚书省的领导核心。改以往的郎曹为司，置于部之下，每部一律设四司，亦即：吏部辖吏部、主爵，司勋、考功四司；礼部辖礼部、祠部、主客、膳部四司；兵部辖兵部、职方、驾部、库部四司；都官辖都官、刑部、比部、司门四司；度支辖度支、户部、金部、仓部四司；工部辖工部、屯田、虞部、水部四司。共二十四司，每司置侍郎主其事，凡三十六人。
门下省主要掌管封驳，百官奏事或颁布诏令须经门下审阅，因此，它成为承上启下联系皇帝、内史和尚书省的桥梁。门下省有纳言（即侍中，因避隋文帝父亲杨忠名讳，改称纳言）二人，给事黄门侍郎四人，为正、副长官，其下有录事、通事令史各六人，分管具体事务。南北朝均于门下省之外再设集书省，主掌献纳谏议，职掌颇与门下重复，故隋文帝将其并入门下省，置散骑常侍、通直散骑常侍、谏议大夫、散骑侍郎、员外散骑常侍、通直散骑侍郎、给事、员外散骑侍郎、奉朝请等侍从官员。门下省统领城门、尚食、尚药、符玺、御府、殿内等六局，仍担负内侍工作。
内史省（即中书省，因避隋文带父亲杨忠名讳而改）主要负责制定诏令置监、令各一人，旋废监，置令二人，侍郎四人，为内史省正、副长官。下设舍人八人，通事舍人十六人，分掌具体事务，属员有主书十人，录事四人。此外，还有秘书省，主管国家经籍图书与天文历法；内侍省掌管宫内事务，与尚书、门下省、内史并为五省，但负责国家政务的是上述三省六部。
三省制实现了宰相制度的重大变革。三省主官，秦汉时原来都是为皇帝服务的宫官，曹魏时，尚书、中书省发展成为独立的机构，门下省大约也在西晋时成立。经过长期的发展演变，尚书省成为国家政务的执行机关，而中书、门下两省则成为承上启下出纳帝命的枢要机构，宫官变为朝官，取代了原来三公（即太尉、司徒、司空，为宰相）的职权。南北朝时代，国家机器只有通过三省才能运转。在此基础上，隋朝全面实行二三省制，宰相由三省长官共同担任，与此相应，废除了三公府及其僚佐，使三公完全成为荣誉职位。如此，则宰相不再是只对皇帝负责的百官之长，而是中央最高部门的代表，领导机构宰相制完全取代了秦汉以来的个人开府宰相制，使得宰相职务制度化，有力地防止出现个人专权的情况。
除了三省长官为当然宰相外，皇帝还可以任命其他官员参与朝政。早在开皇初年，隋文帝就让其侄杨雄以右卫大将军的身份参与朝政，“雄时贵宠，冠绝一时，与高颎、虞庆则、苏威称为‘四贵’，开他官参知政事的先例。至其晚年，又以女婿兵部尚书柳述”参掌机密枢“而炀帝亦沿袭此倒，任命纳言苏威与左翊卫大将军宇文述、黄门侍郎裴矩、御史大夫裴蕴、内史侍郎虞世基参掌朝政，时人称为‘五贵’。”五贵包括门下、中书两省的负责人，宇文述和裴蕴则为他官。综观以上诸例，隋代主持朝政者，一般由三省长官、军事部门负责人和皇帝任命的他官组成。
隋立国初年，创规立制，百废待兴，故皇帝躬亲庶务，日理万机，容易让人产生尚书省居主导地位的错觉，其实不然，《隋书》卷十二《礼仪七》记载：周武帝时，百官燕会，并带刀升座。至开皇初，因袭旧式，朝服登殿，亦不解焉。十二年，固蔡征上事，始制凡朝会应登殷坐者，剑履俱脱。在不坐者，敕召妻事及须升殿，亦就席解剑，乃登。纳言、黄门、内史令、侍郎、舍人，既夹侍之官，则不脱。其剑皆真刃，非假。……又准晋成康元年定令故事，……唯侍臣带剑上殿。
旧体制下，三公主政务，九卿在其领导下负责具体执行。现在，新的宰相制固然完全取代了三公，但是，庞大的行政机构依然保存下来。因此，出现了尚书六部与九寺机构并立重复的现象。隋文帝建国当初，注意力集中于改革至关重要的宰相制，无暇顾及于此，“故隋氏复废六官，多依北齐之制。官职重设，庶务烦滞，加六尚书似周之六卿，又更别立寺、监，则户部与太府分地官司徒职事。礼部与太常分春官宗伯职事，刑部与大理分秋官司寇职事，工部与将作分冬官司空职事。自余百司之任，多类于斯，欲求理要实在简省。”
行政部门机构重叠，分工不清的矛盾暴露出来后，隋文帝随即进行了调整改革。从突出三省作用、加强集权的思路出发，他采取了并省诸寺的办法。开皇三年（583年）四月，废光禄寺及都水台入司农，废卫尉入太常尚书省，废鸿胪亦入太常。然而，光是裁并机构还是解决不了六部与诸寺合理分工的问题，所以，开皇十二年（592年）又复置光禄、卫尉和鸿胪三寺，翌年，都水台亦告恢复。
开皇三年（583年）四月，隋文帝明确尚书左、右仆射的分工，规定左仆射分管吏、礼、兵三部，右仆射分管都官度支和工部三部改度支为民部，都官为刑部，使之更加整齐规范；将内史省通事舍人增加至二十四人。开皇六年（586年），尚书省二十四司又各增加员外郎一人，作为副职，充实日常事务部门。
三省六部制度最大的好处就是，其中有审议封驳这一环节，可使各种决策少出差错。文帝通过三省六部制度，形成了一套适合新王朝的政治体制，取得了巩固和加强中央皇权的巨大胜利。
三省六部制度，是文帝官僚制度改革中很成功的一项。这套新政府领导班子成员中，三名宰相都是政治新秀，而且全是汉人。六部高宫中苏威出身世代官僚家庭，是鲜卑化的汉人；韦世康为韦孝宽的子侄，与文帝是世交；元晖、元岩是西魏宗室；长孙毗为关中世族；杨希尚是弘农杨氏，文帝的本家。隋文帝实行的三省六部制度，开创了中国封建社会政治体制的新阶段，这是隋朝对后世的一大贡献。历经唐、宋、元、明、清各朝，都是在三省六部制基础上的充实完善，基本都是沿着隋文帝确定的政治体制路线进行的。