废除丞相的同时，朱元璋加强收揽皇权，把行政、财政、军政大权都抓到自己手中。明朝建立后，朱元璋走马上任的第一个大动作就是改变原来的政治体制。他要建立一套高效的君主集权制度，要运用一种特殊的手段削弱臣下手中的权力。朱元璋首先从司法部门开始着手。明代司法权被分割在许多机构中，如朝廷有刑部、都察院、大理寺，史称“三法司”。刑部受理刑案，都察院察劾，大理寺驳正，而军队中还有五军都督府断事官。军队内部的刑案都在五军内部审讯。各省提刑按察使司，可自行审理各省刑案。都察院各道监察御史和各道按察分司，参与各地案件审理。不仅如此，朱元璋还创设了一个特殊机构——锦衣卫，具有特务、军事、监察和法司等多种职能和特性。它直属皇帝，凌驾于各部门之上。这只是朱元璋分权、集权计划的一小部分，真正大规模的行动在后边呢。他要将地方、外朝、军队的大权全都揽到自己手中。首先，对地方而言，他要实行架空削弱政策，收权于中央。鉴于元代的行中书省是从中书省分出去的，职权过于庞大，到了后期甚至超过了中央，使得元顺帝都无法控制了。而红巾军的起义，正是利用各地长官拥兵自重，不服中央这一点，使得全国各地逐渐形成军阀割据。作为元朝掘墓人之一的朱元璋十分清楚这种行政体制的弊端，决定削弱地方官的权力。
洪武九年(1376年)，朱元璋下令废除行中书省。将行中书省改为承宣布政使司，置左右布政使各一人，掌一区的政令。布政使是朝廷派驻地方的代表、使臣，秉承朝廷旨意宣扬政令。将全国分为浙江、江西、福建、北平、广西、四川、山东、广东、河南、陕西、湖广、山西12个布政使司，然后又增设云南1个新的布政使司。布政使司的分区，大体上继承元朝的行省，它的职权却只掌管民政、财政，与元朝比，轻重大不相同。此外，朝廷还把原属于行中书省的地方司法和监察权独立出来，单独设立提刑按察使司以掌之。又设都指挥使司，简称都司，专管地方军事，合称“三司”。这一将地方最高职权一分为三的做法，实在是高明。朱元璋让三权彼此相互独立，可以独自行使职权，但是又互相制约，均不能凌驾于皇权之上。而朱元璋正是利用这一点，加强了皇帝对地方的控制力。其次，在省的一级建置正式确立以后，朱元璋把省以下的地方行政机构也由元朝的路、府或州、县三级制，简化为府、州县二级制。这就大大加强了皇帝对地方政权的直接控制，简化了下达政令的层次，使得皇帝可以对地方进行垂直管理。最关键的还是使得影响皇权的相权彻底消失了，这对于至高无上的皇权来说，确实作用不小。丞相的职位虽然被废除了，但丞相的职事毕竟还得有人来做。皇帝一个人精力有限，不可能事必躬亲，行使相权，所以就把相权转移到内阁、六部中去了。皇权有两大体系，一个是官僚机构，一个是军队。朱元璋从一开始便采用文武分途的统治体制，文官统于中书省，武官统于大都督府，现在中书省的问题解决了，自然就该轮到大都督府了。再次，朱元璋在收揽行政权力的同时，丝毫未曾忘记对军队的控制。作为行伍出身的皇帝，他深知军权在政治生活中的特殊意义。在改革中央政府机构的同时，朱元璋也对军事机构进行了大力的整顿，以适合君主专制体制的要求。明代初期，中央除设有兵部外，还设有大都督府，其总长官为都督，权力最大，“节制中外诸军事”。当初，为了安全起见，朱元璋任命侄儿朱文正为大都督府的总都督。可是他看到自己的几个儿子均不如侄儿能干，他担心到时朱文正篡夺自己或儿子的帝位，所以他于洪武十三年(1380年)胡惟庸案发后，在废中书丞相的同时，下令废大都督府，并设中、左、右、前、后五军都督府，将原来大都督府权力分成五部分。全国军队由五军都督府分领。五军都督府职责很简单，掌管军籍，训练统领军队，但是不能调动军队。军队的调动、军官的任免升调、军令的发布、军队的训练必须由兵部来系统安排与负责。可是反过来，兵部不能统领军队，不能指挥军队作战。遇有战事，必须由皇帝下诏任命统军将领，兵部颁发调兵命令，都督长官奉命率部出征。而且战事一旦结束，总兵官将将印还归，军队再立即回到原来的地方。卫所制是明代独特的军事制度。立国之初，如何编制和训练军队，是朱元璋关注的问题之一。他和刘基研究了历代兵制之后，创立了卫所兵制。这一制度可以避免征兵制战斗力较差的弱点，同时可以避免募兵制兵士容易叛逃和军费负担过重的缺陷。卫即卫指挥使司，所即千户所和百户所。明代卫所大都分布在边地和各省内，一般是一府设所，几府设卫。以5600人为一卫，1120人为千户所，以112人为百户所，每个百户所包括两个总旗，各约50人，每个总旗包括5个小旗，各约10人。形成了五军都督府都司、卫、千户所、百户所、总旗、小旗的从上到下的军事编制体系。卫所军士来源有四个：一是从征，即早年跟随朱元璋起事的部队；二是归附，即招降的元朝军队和其他群雄的军队；三是谪发，即因犯罪被罚充军的，也叫恩军或长生军；四是垛集，即从民户中按人口比例征调的，这是卫所军的最大来源。军士是世袭的。军士携家带口，世居一卫所，远离家乡，子孙中一人世袭为军，代代相传，并以严格的户籍制度保证军民分籍，军籍掌管于五军都督府。明王朝利用这一制度，使卫所兵源得到了充分的保证。
朱元璋这一番煞费苦心的设计，使得军队分交多个机构进行管理，各机构间形成互相牵制，任何一个单独部门都不能直接使用军队。这就从根本上防止了个人、部门对军队的控制，使得军权集中于皇帝一人手中。明朝军卫法实施以后，取得了很好效果，使得大明朝始终没有发生武将拥兵叛乱之事。但是也有其致命的缺点，那就是军队战斗力的下降，造成了兵不识将，将不练兵的事实，一旦打起仗来，卫所只能是一个空摆设。通过这些措施，朱元璋已经把行政、军事、监察三权分别独立，系统分明，职权清楚，法令详密，组织严紧。这整套统治机构的设置，起到了互相钳制、监察的作用，而强大的特务组织锦衣卫又可镇压威制一切官民。结果是都督府管军不管民，六部管民不管军，武将平时不指挥军队，而动员复员之权属于兵部，户部负责供给粮秣，工部负责供给武器，而真正的大权决定者还是皇帝本人。朱元璋并没有就此停下了前进的脚步，他感觉自己制定的这一套集权制度还有一个明显的漏洞，那就是不受体制所约束的家里人——嫔妃与宦官们。于是，他进一步加强了对嫔妃和宦官的控制。历史表明，宦官和外戚可以说是君主政治上的一项不得不重视的问题。东汉和唐朝时期的问题，皆是由他们而起。宦官在宫中必不可少，为了让他们奉公守法，朱元璋规定，凡是内臣都不许读书识字，又铸铁牌立在宫门，上面刻着：“内臣不得干预政事，犯者斩。”同时规定内臣不许兼外朝的文武官衔，作内廷官不能过四品，并且外朝各衙门不许和内监有公文往来。这样宦官们就没有一丝篡位揽权的机会。对于后宫，朱元璋也同样立下规章制度，要求皇后只能管宫中嫔妃的事，宫门之外的事不得干预。宫人不许和外间通信，违者处死，断绝外朝和内廷的来往以至通信，使之与政治体系形成一种全然隔离的状态。这使得那些外戚们只能领取高爵厚禄，而绝没有机会预闻政事。所以在洪武一朝三十多年中，内臣小心守法，宫廷和外朝隔绝，彻底杜绝了宦官当道，外戚揽权的可能。大权独揽后的朱元璋日常处理的政务与日俱增。由于朱元璋在战争中摸爬滚打多年，使得他在废相初期还能够胜任这些繁重政务。如洪武十七年(1384年)九月十四日到二十一日，他平均每天要看二百多份奏议，处理四百多件事情。但长此以往，谁也受不了啊，所以，他需要一大批贤才志士的辅佐。洪武十五年(1382年)，朱元璋设置华盖殿、文华殿、武英殿、文渊阁、东阁等殿阁大学士，并以一些品级较低的翰林院编修、检讨、讲读等官吏来充当。朱元璋仅仅让他们帮助自己阅读奏章，处理和起草文书而已，这样就可以避免这些殿阁大学士以此来获取行政权力了。内阁之制是明朝的一种新制，这种体制，既不像以前的权力极大的丞相制度，也不是毫无作为的傀儡。可喜的是，朱元璋的子子孙孙们再也受不到丞相这一权力的威胁了。因为，朱元璋早已经把丞相的权力分给各个弱小的部门了。
重典肃贪
朱元璋登基不久，就下令设专人每天五更在谯楼上吹号角，并高声唱道：“为君难，为臣又难，难也难；创业难，守成更难，难也难；保家难，保身又难，难也难！”以此警告臣子谨身守法。洪武一朝，可以说是中国封建王朝历史上，对贪污贿赂打击最激烈、杀戮贪官污吏最多的时期了。大业面前无私情，为了巩固权势，对于心腹之人，也要看紧才行。对于敢以身试法者，决不宽容。朱元璋身边的许多大功臣，都是随同自己打天下的人，出身贫苦者有之，富足之户也有之，但不论是前者还是后者，这些人都随着明朝的建立，得到了应有的土地和赏赐，逐渐升为新的权贵势力，其中有些人的经济贪欲又开始作祟了，同元朝末年的贪官污吏一样，又开始仗势欺压百姓，破坏王朝的法规法纪。至正二十四年(1364年)朱元璋就曾告诫徐达、常遇春等人，让他们对自己的“家奴”严加管教，加以约束，切不可使家奴“恃势骄恣，逾越礼法”。“上梁不正下梁歪”，家奴有时不只是仗势欺人，更多的是受主子的支使，所以说，问题不在家奴，而是在主人身上。徐达是性情恭谨、处事虑精之人，受到这种告诫，自然会收敛，可是其他功臣呢？至洪武三年(1370年)，功臣获罪的情况颇多，罪名往往都是纵容童仆、倚势犯法、凌暴乡里。可以说，自从朱元璋告诫徐达约束家奴开始，就表示他有意无意地告诫功臣本人，只不过这种说法婉转些罢了。后来，鉴于功臣们恃功犯法的现象屡诫不止，情况日益严重，朱元璋特命工部造铁榜，铸上申诫条令，逐项规定处罚、处刑的法律，严重的还要处斩。可是效果并不理想，甚至出现了犯罪率上升的现象。在立榜之后，凉国公蓝玉蓄假子、庄奴数千，强占东昌民田，百姓告状，御史审问，蓝玉以乱棍驱走，他又私买云南盐破坏盐法；江夏侯周德兴恃为太祖故人，营宅逾制，穷极奢华；营国公郭英恃功、亲私养恶奴，滥杀无辜；永嘉侯朱亮祖在岭南尤贪婪残暴，横行不法；德庆侯廖永忠器僭用龙凤；颍国公傅友德食禄三千石，其他赏赐亦厚，仍不断乞请怀远田千亩……面对公侯们对铁榜条文的置之不理，朱元璋不得不加大对新权贵打击的力度，罢官揽权，斩杀功臣。朱元璋之所以这样做，就是为了稳定自己的统治局面，抑制这种亡国致命的贪欲。凡是有不利于自己权力的因素，他统统加以排斥，无论你是功臣旧勋，还是皇亲国戚，只要犯了法，都严惩不贷。自己的亲侄儿朱文正因立有战功，官拜大都督。在镇守江西期间，贪声好色，骄侈荒淫，朱元璋先将他罢官免职，最后又大义灭亲，将其处死；而晋王同样也是如此，他将出土文物占为己有，大修别墅宫殿，大选美女以供玩乐，朱元璋同样也要治他的罪。这里还有一个最典型的例子：明初时，朱元璋在边境地区实行茶马贸易，主要是用内地茶叶换取边地马匹。为了保证这一贸易的正常进行，他曾下令兵部禁止私贩茶叶。可是私贩茶叶到边境的事情却屡禁不止，于是他又不得不重申禁令，要求四川、陕西等地的官府和卫所严禁私贩，违者重处。即使是在这种情况下，还是有“勇夫”敢于顶风作案。他就是朱元璋的驸马爷欧阳伦。欧阳伦派家人周保去边境贩茶，以牟取暴利。周保一行人马仗势欺人，所到之处，横行霸道。陕西布政使司官员惹不起这驸马家人，只得俯首听命，为他们征派民车几十余辆。在经过兰县河桥巡检司时，周保等人对巡检司官吏更是蛮横无理，稍有不顺，就是拳打脚踢，百般侮辱。小吏最后实在是忍无可忍了，这才愤而上告。