解除了高级将领的军事职务以后，赵匡胤心中仍有不安，放眼全国，进行了大刀阔斧的改革。
为了简洁明了，我们来有打比方的方式说明。
首先，我们将当时的“宋朝”看作一个全国连锁性质的集团公司。都城开封是公司的总部，各个地区是公司的分部。
赵匡胤在总部设立了新的职能部门——枢密院，主管全国的军队调动问题。同时设立“三衙”，掌握禁军。也就是说，这两个部门，前者只有发兵、调兵的权力，对军队没有掌控权；后者只有招募、训练禁军的权力，而没有发兵、调兵的权力。两个部门各自独立，分别对皇帝直接负责。
赵匡胤又将全国的军队分成两半。其中一半屯驻在京城，一半用以戍守各地。如此一来，京城的驻军足以制止外地可能发生的叛乱。京城军队如果叛乱，外地驻军联合起来也可以“勤王”，如此相互制约，相互克制，以达到维稳的目的。更重要的是，京城驻军多余外地任何一个地方，皇权牢牢地控制着全国的军队。
原先，公司各个分部各自为政，一切大小事务由片区经理——节度使负责，时间一久，这些片区经理在分部的威望简直超过了董事长——皇帝，这是赵匡胤不能接受的。于是，他制定了定期调动政策。也就是，每过一段时间，一般三年，东北的片区经理与西南的片区经理对调，西北的片区经理与东南的片区经理对调，如此循环，让各大片区经理才混上个脸熟，就又要到新的地方从头开始。所谓“兵不识将，将不识兵，兵无常帅，帅无常师”是也。将官既然没有声望，又如何能同朝廷、同皇帝对抗？
至于京城的禁军，也不例外，须得定期轮换到地方戍边，是为“更戍法”。如果轮不到戍边，就去产粮的地方劳动，从而防止禁军起异心。
以上，可以归结为中央集权制。
地方改革则如下：
第一，削夺各大片区的权力。举例说，西南片区的行政部门设在CD，片区经理——节度使在CD管理整个西南片区。这好办，从今以后，片区经理只需要管理好CD这一块“三亩地儿”就行了，其他市县直接由总部接受管理。派遣文官到这些县市去任知州、知县，三年一更，直接对总部负责，向朝廷奏事，不再听令于片区经理——节度使。对于以前那些一直以来盘踞一方的片区经理，依旧“杯酒释兵权”，逐一罢免。再后来，又添设通判，用来分割知州的权力，使一州之权不致为知州把持，防止偏离中央政府的统治轨道。
第二，对于以往各大片区的收益自行制作财务报表呈交总部的问题，设置财务总监——转运使，严格把控各大片区财务状况。除去留下支撑各大片区正常经营所需费用外，其余收益全部上交总部。
第三，将各大片区中表现突出、业绩优异的员工——士兵，全部选送至总部，编入禁军。又将总部表现突出、业绩优异的员工定为榜样送到各大片区，要求各大片区按照榜样培养员工，培养出来之后，全部送到总部。
赵匡胤经过以上大刀阔斧的改革，达到了他想要的目的。首先，宰相的权力被削弱了。军政大权归枢密院掌握，而财政大权改由三司使掌握，宰相所掌权力仅限于民政了。在军、财、民三权分立中，枢密使与宰相“对掌大政”，皇帝利用这两者间的异同发号施令，独揽大权。
值得提出的是，武官开始不值钱，文士开始得到重用。
凡事总有对立面，看似赵匡胤通过以上手段结束了五代以来的军阀混乱局面，然而“冗官”、“冗兵”和“冗费”与日俱增，也将深深伤害到大宋的基业。
进过一番整顿，赵匡胤的政权取得了稳定，罢去了范质等三人的宰相职位，任命信服赵普担任宰相，赵普也就首次登上了人生的权力巅峰。