粉碎“四人帮”后，胡耀邦认为，平反冤假错案是顺乎民心、利国利民的头等大事。1976年10月12日，胡耀邦就对人说：“中兴伟业，人心为上。什么是人心？第一是停止批邓，人心大顺；第二是冤案一理，人心大喜；第三是生产狠狠抓，人心乐开花。”
1977年3月，胡耀邦被任命为中共中央党校主管常务工作的副校长。他组织撰写《把“四人帮”颠倒了的干部路线是非纠正过来》，并亲自对这篇文章作了17次修改。中共十一大后，在粉碎“四人帮”一周年之际，这篇文章在《人民日报》上发表，署名杨逢春、叶扬、陈中。文章发出了一个令人振奋的信号：蒙受冤屈的干部可以重见天日了。
紧接着，11月27日，《人民日报》又发表评论员文章《毛主席的干部政策必须认真落实》。文章说：“本报十月七日发表了《把“四人帮”颠倒了的干部路线是非纠正过来》一文，引起了强烈反应。许多干部、党员、群众来信，热情赞扬这篇文章密切联系实际，宣传了毛主席的干部路线和干部政策，贯彻了十一大的精神，表达了华主席、党中央对广大干部的关怀和爱护。许多来信愤怒地揭发了林彪、‘四人帮’反党集团破坏文化大革命、残酷迫害革命干部的罪行，并批评了有些主管组织工作的同志和有些组织部门，对落实党的干部政策犹豫不决，患得患失，能拖则拖，能推则推等不负责任的现象，同时提出了许多好的建议，要求贯彻落实党的干部政策。”
当时的中组部部长就是对落实干部政策采取消极抵制态度的代表，竟诬蔑《把“四人帮”颠倒了的干部路线是非纠正过来》这篇文章是一株“大毒草”。这种态度引起干部群众的强烈不满。许多人贴大字报申斥，有些老干部的大字报通过人民日报社转到了中央常委手中。在这样的情况下，叶剑英、邓小平、陈云等竭力举荐胡耀邦出任组织部长。
1977年12月10日，中共中央任命胡耀邦为中组部部长。
12月15日，胡耀邦在中组部前院的鞭炮声中走马上任。他决定首先抓最敏感、最急迫的平反冤假错案工作，作为冲破“两个凡是”、进行拨乱反正的突破口。当天，胡耀邦在中组部全体干部会上讲话。他将中组部当时面临的形势概括为八个字：“积案如山，步履艰难。”他对中组部同志郑重提出三条要求：第一，要恢复党的优良传统和作风，扫除“门难进，脸难看，话难听，事难办”的恶习，将组织部门办成党员之家、干部之家；第二，任何人不得阻拦找我的受冤挨整的老同志，任何人不得扣压或擅自代行处理寄给胡耀邦的信件；第三，成立老干部接待组，接待老同志的来信来访工作。
1978年1月28日，胡耀邦在中组部召开的26个部委座谈会上提出，干部是国家的财富。原国家干部可以工作而没有分配工作的要尽快分配工作；年老体弱不能工作的要妥善安排；少数干部要作出审查结论的应尽快作出。对“文化大革命”中的案件，该复查的复查，该平反的平反。总之要实事求是。
3月21日至4月24日，中组部分三批召开了中央、国家机关和部分省、市、自治区研究疑难案件座谈会，胡耀邦说：落实干部政策是关系到按照党章来建设马克思主义党的大问题。他提出了落实干部政策的四条标准：（1）没有结论的，尽快作出结论，结论不正确的，要实事求是改正过来；（2）没有分配工作的要适当分配工作，年老体弱的要妥善安排；（3）去世的要作出实事求是的结论，把善后工作做好；（4）受株连的家属子女要解决好。总的方针是实事求是，方法是群众路线。
针对落实干部政策中的种种阻力，针对“两个凡是”，9月20日，在中办召开的全国信访工作会议上，胡耀邦提出了“两个不管”的原则：“凡是不实之词，凡是不正确的结论和处理，不管是什么时候、什么情况下搞的，不管是哪一级组织，什么人定的、批的，都要实事求是地改正过来。”指出：对待一切案件，都要尊重客观事实，这才是彻底的唯物主义。
胡耀邦提出的“两个不管”是与“两个凡是”尖锐对立的，有力地推动了落实干部政策和平反冤假错案工作的开展。
胡耀邦还组织和指导分批召开了许多次小型疑难案例座谈会，亲自到会参加讨论或讲话，对上百个久拖不决的疑难案件提出处理意见，划分政策界限。
作为中组部部长，胡耀邦亲自过问了一些重要案件。1978年1月23日，胡耀邦特地去看望张闻天夫人刘英。张闻天遵义会议后担任中共中央总书记，直到六届六中全会以后。1959年庐山会议上因忠言直谏被打成“彭、黄、张、周反党集团”成员，“文化大革命”中深受迫害，仍然坚持写理论文章探索中国社会主义道路。1976年7月含冤逝世。胡耀邦问刘英有什么要求，刘英希望为张闻天平反，并说：“闻天的骨灰还在无锡，希望运回来；他写的文章，如果没有错误，希望能够出版。”胡耀邦连说“应该，应该”，很快派人去无锡了解情况，并决定将张闻天的骨灰移回北京。不久又批准成立“张闻天文集编辑组”。这只是胡耀邦所做许多工作中的一例。
胡耀邦在邓小平、陈云等老同志和广大人民群众的支持下，冲破重重阻力，大刀阔斧地工作，从1977年6月底到1978年底一年半中，平反了大量冤假错案，拨乱反正，取得了显著成效。举其要者有：
1977年6月30日、7月7日和16日，《人民日报》接连发表文章先后为所谓“三株大毒草”《科学院工作汇报提纲》、《论全党全国各项工作的总纲》、《关于加快工业发展的若干问题》恢复名誉。
1977年12月1日至次年1月15日，全国公安会议揭批了“四人帮”破坏公检法的罪行，肯定“文化大革命”前17年公安工作取得了显著的成绩。
中央国家机关平反冤假错案、落实干部政策的工作取得很大进展，到1978年7月，按政策分配和安置中央国家机关干部5344名，占中央和国家机关53个单位原有待分配干部的87.2%，在解放思想、拨乱反正中发挥了带头作用。
1978年10月10日至11月4日，胡耀邦在中组部召开落实知识分子政策座谈会上提出，对知识分子“团结、教育、改造”的方针已经过时，要做好复查和平反昭雪工作，对知识分子要充分信任，放手使用，做到有职有权有责，改善工作条件和生活条件。会后中组部发出《关于落实党的知识分子政策的几点意见》。
1978年11月20日，中组部向中央报送了《关于“六十一人案”的调查报告》，12月16日，中共中央发布了同意中央组织部《关于“六十一人案件”的调查报告》的通知。在十一届三中全会上，薄一波等“六十一人案”得到平反昭雪。
1978年11月22日，清华大学党委维护党员民主权利，揭穿迟群等人封锁真相，歪曲事实，欺上瞒下的罪恶勾当，公开纠正刘冰等人写“诬告信”这一错案。11月23日，《人民日报》发表《刘冰等给毛主席写信符合党章内容属实》的文章。
1978年一年，中组部直接办理和复查平反了130多名副省长、中央副部长以上干部的大案要案。大批在“文化大革命”中被打倒的中央和地方的领导干部重新走上领导岗位。各条战线的专家、劳模、先进工作者，恢复了名誉，逐渐走上了工作岗位。到1978年11月底，仅总后勤部就撤销了113个假集团案，为2754名被迫害的干部群众平反昭雪。
对冤假错案的平反，特别是对一些重大冤假错案的平反，阻力很大。为冲破阻力，邓小平、陈云等做了许多工作，新闻舆论也积极配合，有力地支持了胡耀邦平反冤假错案工作。
同时，胡耀邦大刀阔斧地平反冤假错案迅速见效，与老同志和广大干部群众的支持也是分不开的。而不断解放出来的干部，又汇集成一股支持胡耀邦的力量，使平反冤假错案的工作进一步向纵深发展。
在平反冤假错案的同时，还做了为“右派分子”摘帽和改正的工作。1957年反“右派”斗争扩大化，有55万人被划为“右派分子”。从1959年到1964年，全国曾经先后分五批为30余万“右派分子”摘掉了帽子。粉碎“四人帮”后，各项政策逐步得到落实。在平反“文化大革命”中冤假错案的过程中，要求为“右派”摘帽的问题，相当突出地提了出来。1978年春夏，由中央统战部和公安部牵头，联合中央组织部、中央宣传部和民政部就“右派”问题先后在烟台和北京召开了两次专门会议。经反复讨论，以五个部的名义拟订了《贯彻中央关于全部摘掉右派分子帽子决定的实施方案》，9月17日，中共中央将它作为1978年55号文件向全党转发。对“右派”摘帽和改正的基本原则是：对所有的“右派”全部摘掉帽子。摘掉帽子以后，原划的“右派分子”不再叫他们“右派分子”或“摘帽右派”。在提职、提级、调整工资、奖励、授予职称等问题上，都与其他职工一样对待，不受歧视。关于错划“右派”的改正，规定：“仍应以一九五七年中央的规定为依据，凡符合划右派标准而定为右派的人，是摘掉他们右派帽子的问题，不是改正的问题；凡不应划右派而被错划了的，应实事求是地予以改正。”经批准予以改正后，恢复政治名誉，由改正单位分配适当的工作，恢复原来的工资待遇，但不补发工资。生活有困难，给予必要的补助。原是共产党员，没有发现新的重大问题的，被开除党籍的要恢复党籍。要把做好摘掉“右派”帽子的人的安置工作，当作落实党的政策、当作我国政治生活中的一件大事来抓。要坚持有反必肃，有错必纠的原则，做好改正工作。在广大干部群众的共同努力下，“右派”摘帽工作于1978年底结束，错划“右派”的改正工作到1980年也基本结束，共改正54万多人。依据政策，最终没有改正的“右派”人数极少。