1964年8月5日，根据毛泽东的提议，中共中央书记处决定由刘少奇主持修改《后十条》。同日，刘少奇带着田家英离开北京先后去湖北、湖南、广东、广西和云南考察“四清”运动情况，准备在广州由田家英执笔修改《后十条》。出发前，田家英对我说，他是毛泽东的秘书，随刘少奇出去思想有顾虑。但是党中央副主席要他去，他不好不去。田家英还认为，他在1959年庐山会议时的一些言论和1962年提出“包产到户”的建议受到批评以后，在政治上毛泽东已经不那么信任他了。果然，这次田家英随刘少奇出去，毛泽东认为刘少奇把田家英拉过去了，从此对田家英明显地疏远了。
原来，毛泽东几次提出领导干部要下去蹲点、亲自向群众宣讲两个《十条》。但是省、市一级领导干部下去的并不多。1964年10月，中央发出《关于认真讨论刘少奇同志答江渭清同志一封信的指示》，再次强调要下去蹲点，省、市委书记们就纷纷下去了。有一次，毛泽东见到我说：“还是少奇厉害！我说了多次叫省委书记们下去，他们就是不动。少奇一骂，他们就下去了。”
1963年冬，王光美在刘少奇的支持下去河北省抚宁县卢王庄公社桃园大队蹲点。王光美在桃园大队总结的一套“左”的经验，为刘少奇指导全国“四清”运动提供了依据，认为它是在农村进行社会主义教育的一个比较完整的典型经验。有一次王光美在北戴河宣讲她的“桃园经验”，一口气讲了五个钟头。毛泽东就说：“这个学问就那么大？什么问题讲五个钟头还讲不完！”下面的同志对此也有些反映。这个情况我对刘少奇讲了，我说你从来对你的夫人要求严格，为什么这次让她到处去讲话呢？刘少奇说：“这也没有办法，谁让人家手里掌握第一手材料呢。”
这几件事都引起毛泽东对刘少奇的不满。
1964年冬，“四清”运动“左”的倾向进一步发展。为了解决运动中发生的问题，中央利用三届全国人大一次会议期间各地大多数负责同志都在京的机会，召开一次工作会议，准备再制定一个指导“四清”运动的新文件。我是人大代表，按照中央的通知回京参加会议，同时，参加中央召开的工作会议。
这次工作会议由刘少奇主持。在会议进行过程中，毛泽东、刘少奇之间在“四清”运动的性质以及开展运动的方法等各方面都有分歧,刘受到了毛的批评。会议开始用了五天时间交流情况，提出问题，准备起草文件。关于当时农村的主要矛盾，刘少奇说是“四清与四不清的矛盾”、“人民内部矛盾和敌我矛盾交织在一起”。毛泽东说运动的性质就是解决“社会主义与资本主义的矛盾”，运动的重点是“整党内那些走资本主义道路的当权派”。刘少奇只好接受毛泽东的意见。
根据毛泽东的意见，由陈伯达起草会议《纪要》，题为《农村社会主义教育运动中目前提出的一些问题》，全文共17条，送毛泽东审阅，毛泽东批“照发”。12月28日，中央办公厅印发了这个《纪要》。
《纪要》印发后，会议继续进行。12月28日，毛泽东在会上讲话，他从1962年北戴河会议和八届十中全会讲起，说那个时候单干风刮得很厉害，邓子恢就是一个；我讲了形势、阶级、阶级斗争以后，情况就变了。他举着《中华人民共和国宪法》和《中国共产党章程》两本小册子，严肃地说：“宪法”、“党章”都是我们自己通过的，为什么自己又不遵守？我们这些人算不算中华人民共和国的公民？如果算的话，有没有言论自由？准不准许我们和你们讲几句话？我这个党员能不能参加你们的会议？毛泽东的这些话是有所指的。因为在一次会议上毛在刘讲话时插话，曾被刘无意中打断；在这次工作会议之前，邓小平考虑到这是一次例行的工作会议，曾对毛泽东说，你也可以不参加这次会议。
根据毛泽东讲话精神，12月31日，中央办公厅发出通知，说《纪要》“中央尚在修改中，请停止下发，并自行销毁”。1965年1月3日晚，毛泽东在中央政治局常委扩大会议上又不指名地批评刘少奇，说“四清”工作队1万多人集中在一个县“搞人海战术”，工作队学习文件40天不进村，是“烦琐哲学”，反人家右倾实际自己右倾。不依靠群众，搞神秘化扎根串连，结果运动冷冷清清。1月8日，毛泽东在《纪要》中加写了一段话：“所谓四清四不清，过去历史上什么社会也能用；所谓党内外矛盾交叉，什么党派也能用；都没有说明今天矛盾的性质，因此不是马克思列宁主义的。”最后《纪要》形成23条，1月14日正式发出，这就是那个在当时家喻户晓的《二十三条》。
毛、刘关系出现裂痕，还可以追溯到1959年庐山会议。庐山会议原本是反“左”，彭德怀的信印发以后突然变成反右，对此刘并不赞成；1962年七千人大会，刘说，产生困难的原因是三分天灾，七分人祸。发生的缺点和错误，首先要负责的是中央。显然，刘的这番话毛是难以接受的。1962年北戴河会议上，毛泽东指责邓子恢主张包产到户，同时不指名地批评刘少奇没有顶住“单干风”，思想右倾。1964年底毛、刘终于在“四清”运动性质问题上爆发了正面冲突。1965年10月，中央工作会议期间，毛泽东同各中央局第一书记谈话时说，中央出了修正主义你们怎么办？如果中央出了修正主义，你们就造反。各省有了小三线，就可以造反嘛！过去有些人就是迷信国际，迷信中央。现在你们要注意，不管谁讲的，中央也好，中央局也好，省委也好，不正确的，你们可以不执行。毛泽东讲的中央出修正主义，指的就是刘少奇。可以说，从那时起，毛泽东已经公开号召全党向刘少奇造反了。
“四清”是60年代我们党发动和领导的一场大规模的群众运动。多年过去了，对这场运动应该怎么看？杨尚昆在和我们谈话的最后，谈了自己的看法：
我认为，不能脱离历史孤立地评说“四清”。50年代，在当时“左”的思想指导下，农业合作社本来已经发展过快，1958年又匆忙大办人民公社。试想，在绝大多数农民还没有摘掉文盲帽子的情况下，如何能在短期内培养出以百万计的能把每一个生产队的账目、仓库、财物、工分搞得清清楚楚的会计人才？特别是“大跃进”以后“共产风”、浮夸风猖獗，农民的生产积极性受到挫伤，群众生活普遍困难，在这种情况下，出现干部多吃多占现象也就不足为奇了。在大多数社员还没有吃饱的情况下，干部们多吃一个馍，多拿一棵葱，在今天看来根本不成为问题的事，在那时就是大事了。从“四清”入手，教育干部，调动农民的生产积极性，达到密切干群关系，克服困难，发展生产的目的，这条路并没有什么错误，问题在于以阶级斗争为纲“左”的思想的指导下，运动越搞越“左”。《二十三条》纠正了“烦琐哲学”的一套做法是好的，但是把矛头指向了“党内走资派”，实际上打击面更宽了，最终发展成为打倒一切、全面内战的“文化大革命”。搞过“四清”的地方同没有搞过“四清”的地方比，生产也没有明显地上去，这就说明“四清”至少是一次不成功的政治运动。我认为，1981年中共十一届六中全会通过的《关于建国以来党的若干历史问题的决议》指出：“1963年至1965年间，在部分农村和少数城市基层开展的社会主义教育运动，虽然对于解决干部作风和经济管理等方面的问题起了一定作用，但由于把这些不同性质的问题都认为是阶级斗争或者是阶级斗争在党内的反映，在1964年下半年使不少基层干部受到不应有的打击，在1965年初又错误地提出了运动的重点是整所谓‘党内走资本主义道路的当权派’。……不过，这些错误当时还没有达到支配全局的程度。”评价是恰如其分的。
杨尚昆蹲点半年，突出地体现了他优良的工作作风和工作方法，既忠实地执行中央的指示，又实事求是，独立思考，善于创造性地完成任务。1988年夏，我因公出差去西安，抽了一点时间去我蹲点的原沣桥大队所在地马王村看了看。马王村面貌依旧，只是觉得人比过去少了些，据说年轻人都出去打工了。我找到时已78岁但身体健壮的董化宇老人，他一眼就认出我来了，不等我问候他，他却把当时到这里参加“四清”的中办同志问了个遍。他仍住在原来的那幢“厦子房”，居住条件似乎没有什么改善，但屋里彩电、冰箱、洗衣机一应俱全，真是今非昔比。他说现在党的政策好，大家都过上好日子了，那时你们来只能给你们吃“搅团”，现在吃啥有啥。他希望中办的同志都能回去看看。多年过去了，村里人对我们这些“四清”工作队员，仍然这样亲切！我想，如果不是“四清”中我们执行了杨尚昆的一条“中间路线”，恐怕就不会有今天这样的气氛了。