中共十一届三中全会以来，中国的社会主义现代化建设事业取得了重大进展，同时生产关系和上层建筑的某些方面同生产力发展不相适应的情况越来越严重地突出起来。主要表现在：领导机关部门林立、机构重叠、层次繁多，设置很不合理；干部队伍日益庞大，人浮于事和无效劳动现象相当普遍地存在；各级领导班子越来越老化，相当多的干部缺乏现代化的专业知识；机关干部工作效率低，差错误事多，官僚主义已经发展到了令人不能容忍的地步了。这种状况已经成为发展经济、开创现代化建设新局面的严重障碍。鉴于此，中国共产党在致力于经济体制改革的同时，又提出了政治体制改革的问题。
1980年8月，中共中央召开政治局扩大会议，邓小平在会上作了《党和国家领导制度的改革》的重要讲话，对政治体制改革的必要性、意义、方针、政策、内容和步骤等作了系统精辟的论述。这个讲话成为政治体制改革的指导性文件。在此形势下，为了从组织上保证现代化建设的顺利进行，为了克服官僚主义倾向，党中央在对党内领导体制改革的同时，又决定把中央党政机构的改革工作提到议事日程。
1982年1月11日和13日，中共中央政治局召开扩大会议，讨论中央党政机关的精简问题。会上，邓小平作了《精简机构是一场革命》的重要讲话。他强调指出，精简机构是一场革命，是对体制的革命。如果不搞这场革命，让党和国家的组织继续目前这样机构臃肿重叠，职责不清，许多人员不称职、不负责，工作缺乏精力、知识和效率的状况，这是不可能得到人民的赞同的，包括我们自己和我们的干部。这场革命不搞，让老人病人挡住比较年轻、有干劲、有能力的人的路，不只是四个现代化没有希望，甚至要亡党亡国。他还说，这一次精简机构，不但要注意出的问题，还要特别注意进的问题。进，最关键的问题是选比较年轻的。他强调，实现干部队伍的革命化、年轻化、知识化、专业化，是革命和建设的战略需要。1月19日，中共中央将邓小平的讲话印发给中央和国务院各部委、党组。3月2日，国务院主要负责人在五届人大常委会第22次会议上作了关于国务院机构改革问题的报告，提出国务院改革方案。会议通过了《关于国务院机构改革的决议》。此后，中共中央和国务院的机构改革工作逐步展开。
中共中央共有30个直属单位，按照中央关于机构改革的指示，经过定任务、定机构、定编制，局级机构减少了11%；处级机构减少了10%；总编制减少了17.3%，其中行政人员减少了77%，部委级领导班子除了需要经过选举产生和一些单位酝酿研究外，正副职都严格按3至5人配备，共减少15.7%，平均年龄由原来的64岁降到60岁。局级机构正副职一般设2至3人，减少了14%，平均年龄由原来的58岁降到54岁。新选拔的中青年干部在新的领导班子中，部级占13%，局级占16%，部局两级领导班子的文化水平都有了提高，5月15日公布了中共中央任命的中央直属机关部分单位领导干部任职名单。
国务院的机构精简和改革，是从2月下旬全国人大常委会第22次会议闭幕后开始的。在这次会议上，全国人大常委会批准减少副总理设国务委员，由国务院总理、副总理、国务委员和秘书长组成国务院常务会议，作为国务院日常工作的集体领导机构的建议。经过这次机构精简和改革，国务院原有52个部、委，裁并为42个；国务院直属机构在原有41个的基础上，保留15个，合并为26个，占原有的63%。工作人员总编制缩减1/3左右，在人事变动后，据38个部、委的统计，除兼职的部长、主任以外，共有正副部长、正副主任167人，比原有的505人减少338人，减少67%；他们的平均年龄为58岁，比原来减少6岁；具有大专文化水平的干部原来占37%，现在提高到52%。据28个部、委统计，原设司、局机构720个，现在减少到488个，减少32%；正、副司局长原有2450人，现在减少到1398人，减少43%；他们的平均年龄由59岁减少到54岁；具有大学文化水平的干部由原来的36%提高到了49%，4月，国务院总理赵紫阳在五届全国人大常委会第23次会议上宣布，国务院各部、委机构的组建工作已经完成。1982年这次党政机构改革，作为政治体制改革的一部分，对后者起到了很好的推动作用，使机构臃肿、人浮于事、领导班子老化的现象得到初步改善，对下一步的机构改革，对改善党风、政风，提高工作效率是个极大的促进。但是，由于这次机构改革是在政治经济体制尚未完全展开的情况下进行的，没有触动高度集中的计划经济管理体制，没有紧紧抓住转变机构职能这个关键，所以，这次机构改革的成果没有能巩固下来。