在废罢支郡、“以文臣知州事”的同年（公元963年），赵匡胤又订立了两项限制州郡长官权力过重的措施。一是“三岁一易”，使“知州”、“知县”在一地任职以三年为限，不得久任。乾德元年（公元965年），北海军知军杨光美任职已满三年，由于其为政清廉，颇得百姓爱戴，当地有数百人赴京守在宫门口请愿，要求留杨光美继续在北海任职。赵匡胤先是下诏劝他们散去，无效，于是采取断然措施，“笞（鞭笞）其为首者”，才将请愿者赶走。另一项措施是在州郡设立通判。通判名义上是与知州共同判理政务的，其地位略低于知州，但事实上由于其负有监督州郡长官的特殊使命（故通判又称监州、监郡），知州往往还要怵其三分。宋朝州郡长官与通判不和的问题一直存在。
其次是“制其钱谷”，即收夺地方上的财权。乾德二年（公元964年），赵匡胤发布了一道十分重要的诏令，要求各州除留有必要的经费外，其余财赋中属于货币的部分应全部辇送到京城，不得无故占留。次年三月，又一次重申了这道诏令。随着钱币的集中，对其余财物的控制也逐步加紧了。
在废除“留州”制度的同时，对于各地大藩镇以“留使”的名义截留地方赋税以及肆意征税的弊政，赵匡胤也小心审慎地进行了革除。他以支付大藩镇“公使钱”为代价，废除了留使制度，收回了为地方藩镇所控制的部分财权。对于藩镇任命亲信武将掌管场务、肆意征税的问题，赵匡胤处置时就更为小心了。一般都是在该节度使病逝调离之际，朝廷方才改派文臣管理场务。自此以后，“粟帛咸聚王畿”，地方藩镇失去了对抗中央王朝的经济后盾。
地方丧失了财权，自然也就无法“屯兵自重”了。在这种情况下，赵匡胤与赵普所讨论的“收其精兵”的措施实施起来就很顺利了。
赵匡胤为收地方精兵而创立的兵分禁、厢的制度，也补充其后代一直沿袭下来，成为两宋兵制中的一大特色。赵匡胤在统一南方诸国时，为了制止地方割据局面的再现，曾下令拆毁了不少通都大邑的城墙，填平了壕沟。这显然是一个消极的、只解决临时问题的措施。而“稍夺其权，制其钱谷，收其精兵”，才收到了长远的效果，出现了“天下之权悉归朝廷”，“四方万里之遥，奉遵京师”的新型的中央与地方的关系。在以后两宋300多年的统治中，赵匡胤所确立的这种中央与地方的关系作为“祖宗之法”的主要内容，一直为宋代君臣所恪守。
在调整和确立了中央和地方的关系的同时，赵匡胤对君臣关系也进行了调整。在他看来，地方权力集中到朝廷，还没有完全解决中唐五代以来“君弱臣强”的问题，因而应该进一步削弱文武百官的权力，使由地方集中到朝廷的权力最后完全集中到自己一人手中，“总揽威柄”，“独制天下”。
宰相是封建社会的“百官之领袖”，处于“一人之下，万人之上”的地位。赵匡胤即位后，宰相奏事仍沿旧制。有一天早朝，他突然对宰相王溥、范质说：“我眼睛有些昏花，把你们的奏疏送上前来。”在范、王二相离座递疏时，宫廷侍卫乘机将他们的座位搬走了。自此以后，宰相在皇帝面前毕恭毕敬地站着奏事成为定制，宰相的地位也大大下降了。
与削弱相权同步进行的，则是在百宫中推行“官、职分离，互相牵制”的任官政策。宋代官制中，“官”是品级，只有据此受俸禄的作用；“职”是殿阁、馆阁学士一类的荣誉称号，亦没有实际权力；只有由皇帝或中书省“差遣”的临时职务才是实职，即执行实际权力的职务。这种职权分离、名实混淆的任官体制，使任何官员都无法集权力、荣誉、威望于一身，权大者并不一定职高，望重者并不一定位显，这样也就很难形成对皇权的威胁了。
皇帝临时“差遣”的实职，也是依照“分权而相互牵制”的原则进行安排的。如宋代有固定的尚书省兵部，但兵部尚书只是虚职，并无实际兵权，只有被差遣为枢密使才有相当于兵部尚书的实权。不过枢密使也只是有奉旨调兵之权而无领兵之权，领兵之权归“三衙”长官。同理，“三衙”的高级将领虽然名为禁军的最高统帅，却也只有领兵之权而无发兵之权。
赵匡胤为了扩大统治基础，改革和推进了隋唐以来的科举考试制度。宋初极力放宽科举考试的范围，无论家庭贫富、郡望高低，只要具有一定的文化的人，都可以前往应举。同时严格考试制度，以防权贵豪门请托舞弊。
同时，着力改变重武轻文的旧风气。赵匡胤即位之初，就下令修复孔庙，开辟儒馆，延用耆学名儒，以劝励教化。针对五代时期文教不兴、学校荒废的情形，他下诏拨款增修国子监学舍。国子监开学讲书之日，他很高兴地派人送去美酒、蔬果以示祝贺。
随着文教的振兴和开科取士的增多，大批文人进入统治集团。赵匡胤认为，乱世用武，治世用文，对这些文臣再也不能像五代时期那样，只是当作点缀摆设，而应切实发挥他们的作用。
随着对文臣的重用，统治集团内部畸形的文武关系得到了调整。原来那些骄横跋扈，视文臣为无用，甚至一言不合就要“砍杀”宰相的武将们，现在见了宰相不仅都恭恭敬敬地问候，而且还在赵匡胤的劝告鼓励下，学着文臣的样子读起书来。
这样，一方面是调整中央与地方、君主与臣下的关系，使地方的行政、财政、军事等各方面的权力不断向中央集中，最后又集中到皇帝一人手中，形成了至高无上的君主集权制；另一方面又开科取士，重文用武，广罗人才，极力扩大这一专制统治的基础。
严于律己反腐倡廉
宋朝建立前的半个世纪里，中原如走马灯似地换了五个朝代。天下大乱，谁有了刀枪，谁便可称霸一方，甚至当皇帝。无论是当地方官，还是当武官，几乎都张开贪婪巨口，搜刮民财。贪官污吏对贪污敛财，不以为耻，反以为荣，形成了一种极坏的社会风气。宋太祖深深认识到，如果听任贪污敛财在新王朝肆无忌惮，到手的政权就会得而复失。因此，宋王朝开国初期比较重视反腐倡廉。
《宋史本纪》载，太祖“绳赃吏重法，以塞浊乱之源”。清朝历史学家赵翼在《二十二史札记》中有“宋初严惩戛吏”一节，专论太祖惩贪。据统计，宋太祖在位17年，对28个贪官处了死刑，还将一些问题不严重的贪官贬官。所处死刑者，有县令、通判、郎中、将军、监察御史、拦遗、太子中舍、太子洗马（均为皇太子府高级管理官员）、内班（皇宫管理官员）等等。
赵匡胤自身更是以身作则、严于律己，没有丝毫的志得意满、骄逸放纵。平定南方诸国后，各国的金帛财宝源源不断地运至东京，赵匡胤将其作为战备物资，全部收贮在内库，从不随意挥霍。
灭蜀之后，有人将后蜀皇帝孟昶用七彩宝石装饰的夜壶送给赵匡胤，赵匡胤很生气地将壶摔碎了。赵匡胤见了这个“宝壶”，不是爱不释手，而是“大摔出手”，说明他没有忘记过去。赵匡胤出身于下层行伍，经历了五代十国的动荡局面，深知历代因奢侈腐化而亡国的教训。在他看来，即使把夜壶装饰得再好，也不过是一个便器。实际上，平民百姓家多用瓦尿罐，富贵人家多用铜尿盆，帝王之家多用银夜壶甚至金夜壶，而孟昶一个小国之君，竟用七宝夜壶，实在没有必要。难怪赵匡胤说：“用七彩宝石装饰夜壶，那该用什么东西盛粮食，像孟昶这样腐化，不亡国才怪呢！”孟昶的生活十分奢侈，就连他的一个宠妃使用的痰盂都是金装水晶石做的。享乐到如此地步，岂有不亡国的。
赵匡胤身为天子，富有四海，但却力行节俭，从不讲排场、比阔气。寝殿中的闱帘都是用青布包边，宫中闱幕也没有花纹作装饰，乘坐的肩舆也不用黄金装饰。赵匡胤说：“我大宋富有四海，用金银装饰金殿也能办到，但我是为天下人掌管钱财，怎能随便乱用。”赵匡胤就连日常衣服也都是洗了再穿，穿了再洗的。公元961年2月，他下令文武百官及百姓在皇帝诞生日及各种节日，不准上贡物送贺礼。
赵匡胤的弟弟赵光义（即宋太宗）看到哥哥当了皇帝还十分俭约，便说：“陛下服用太俭朴了。”赵匡胤说：“你别忘了咱家在洛阳夹马营的艰苦日子呀。”
赵匡胤不仅自己身体力行，还带头约束家人不能奢华。公元972年7月，赵匡胤之女永庆公主下嫁后回家省亲，穿了一件贴绣铺翠的短袄入宫。宋太祖看了，很不高兴，说：“以后穿戴不要如此华丽。”公主不以为然，笑了笑说：“用不了许多钱。”赵匡胤严肃地说：“不对，你当公主的，穿这样贵重的衣服，别人就会模仿。这样一来，京城里的高档服装就会涨价；价格一涨，商贩就会贩卖，结果只会伤害百姓。你生长富贵之家，要珍惜富贵的日子，岂可开坏风气的头？”永庆公主听了十分惭愧。
又有一次，永庆公主与其母（皇后）对赵匡胤说：“皇上的车轿该用黄金装饰。”赵匡胤笑着说：“朕富有天下，甭说用黄金装饰车轿，就是用黄金装修房屋也能办到。不过，想到朕是为天下百姓守财，就不能这么干呀！古人讲：以一人治天下，不以天下奉一人。如果让天下百姓都为朕一个人服务，百姓们如何活命呢？”