为了彻底击败对手，斯大林不知花费了多少个日夜，刻苦钻研列宁著作和党内斗争的历史，并由此总结出带有普遍规律性的结论。这个结论就是：“联共（布）是通过克服党内矛盾而成长和巩固起来的。以斗争来克服党内意见分歧是我们党的发展规律。”
1926年12月7日，斯大林在共产国际执行委员会第七次扩大全会上，作了一篇题为《再论我们党内的社会民主主义倾向》的长篇报告。这篇报告，加上12月13日的结论总共约有8万字，大约是斯大林一生中所作的报告中最长的一篇。其内容都是针对反对派的。
反对派面对这种强大的舆论压力，几乎要土崩瓦解了。他们的首领暂时放弃了行动计划，两派处于一段休战状态。1927年初的几个月，斯大林的反对者季诺维也夫在考虑向斯大林投降，托洛茨基还在等待新的进攻时机。党内显得少有的平静。不过这只是一种表面现象。
由于和斯大林的矛盾，由于和“联合反对派”的共同活动，托洛茨基终于遭到噩运。1928年1月，4名便衣警察敲开托洛茨基的房门，强行将他带走。托洛茨基拼命反抗，但无济于事。当他们把他拖到楼下时，秘书急切地想要阻拦。结果，秘书也被逮捕了。
托派支持者听说1月16日将要把托洛茨基流放到中亚去。他们提前赶往火车站，他们在车厢顶上竖起一幅托洛茨基本人画像。此时有人截住火车，抓住车厢，要与托洛茨基见面，引起车站上一片混乱。警察逮捕了一些闹事者，而托洛茨基仍在看守所里等待着。警方通知他启程日期延至两天之后。可是，第二天上午，警察就向他出示了逮捕证，并宣布立即押往阿拉木图（靠近中国的新疆省）。由于这次的保密工作很成功，火车站上空空荡荡，火车顺利地开到目的地。
阿拉木图在天山脚下，伊犁河畔，它与中国接壤，居住着稀疏的哈萨克人。他们喜爱打猎和捕鱼。托洛茨基也分享了这种乐趣。在那里流放的一年中，他尽情享受大自然的美景，尽管在远离首都的边塞，托洛茨基几乎一天也没有停止过工作。他与远方的老朋友、老部下始终保持着密切的书信来往。即使是在他得知自己的26岁的小女儿尼娜去世的消息时也没有停笔。
托洛茨基的干劲和顽强精神使斯大林感到震惊。斯大林下决心切断他与莫斯科的联系。十月革命纪念日那天，很多人给托洛茨基发去慰问的电报，而他却一封也没有接到。
12月中旬，莫斯科的特派员专程来到阿拉木图，向托洛茨基提出口头最后通牒，勒令他彻底停止一切活动，否则将会改变他的生活条件和居住地点，使他完全脱离政治生活。
听完这个口头通牒后，托洛茨基立即给联共（布）中央委员会和共产国际执行委员会写了一封态度十分强硬的公开信。
信中表示他决不会放弃政治斗争，并指责斯大林派在搞“赤裸裸的‘热月政变一。信中充满了反抗的激情和对斯大林的控告，字里行间表现出对斯大林的轻蔑和鄙视。
斯大林会见德国外交部长里宾特洛甫，随后两国签署了《苏德互不侵犯条约》。这封约6，000字的复信迫使斯大林不得不下决心把托洛茨基开除国籍。
1929年1月20日，内务部的10余名武装警察来到托洛茨基的住所，向他宣读判决书。该判决书说：
“经审理公民列夫·达维多维奇·托洛茨基一案，据刑法58条10款，被定为反革命案，该犯犯有组织反苏维埃非法政党的罪行。该党近期活动旨在挑拨反苏活动，并策划反苏维埃政权的武装斗争。判决将公民列夫·达维多维奇·托洛茨基驱逐出苏联国境。”
两天以后，托洛茨基和他的妻子、儿子随押送人员启程了。经过几番周折，直到3月初，他们乘坐的“伊里奇”号货轮才开到目的地——土耳其的君士坦丁堡。从此，托洛茨基开始了长达11年的流亡生活，先后在土耳其、法国、挪威、墨西哥等国居住。他与斯大林的斗争始终都很激烈，一直到他1940年遇刺身亡为止。
斯大林认为，苏联的经济成就越大，资本主义、阶级敌人的破坏企图也就越大，因此，必须时刻保持警惕，以肃清这些敌人。于是，在“揭发和铲除人民敌人”的号召下，一场大规模的肃反和清党运动在全国、全党轰轰烈烈地展开了。斯大林要挖出隐藏在党内外的一切敌人，一个不留地全部肃清。一场震惊世界的肃反运动持续了4年之久。由于斯大林认识上的偏差，由于坏人乘机钻进了掌握人民生死大权的肃反部门，使得成千上万的人遭到了无辜的株连。
1937年1月23日，在莫斯科举行了第二次表演性质的大审判。17名被告被说成是反苏托洛茨基中心的领导人。他们勾结德国和日本政府阴谋推翻苏维埃政权。他们的主要阴谋是破坏经济。托洛茨基被指责为这一阴谋的可恶的指挥者。
总检察长维辛斯基操纵着这次审判，他在处理这一案件时显得沉着而温和，因为被告人的表现使他感到轻松。一个目睹公审现场的人后来这样写道：“所有的被告好像都在争相往自己的头上堆加罪名——‘是我的莫大罪过’。几乎用不着让他们同原告对质。”结果，所有受审的人都被判为有罪，其中13人被枪决，4人被判处10年徒刑。
这次审讯后不久，谢尔戈·奥尔忠尼启则就死了。奥尔忠尼启则是斯大林最老的同事和朋友之一。1912年，是他向列宁谈起了斯大林并帮助把斯大林首次选入中央委员会。10年以后，他们合作解决了格鲁吉亚问题。在反对各类反对派的斗争中，他都热心地同斯大林合作，并且建立了深厚的革命友谊。奥尔忠尼启则接受斯大林的领导，但作为一个老同志，并作为政治局委员和主管重工业的人民委员，他直言不讳。据说，他是唯一向斯大林提出反对内务人民委员部的活动的人，并为一些被捕的人说情。但是，随着他的对手和敌人拉夫伦季·贝利亚的影响和地位的上升，他的影响却下降了。
1937年2月17日上午，奥尔忠尼启则和斯大林见面时大吵了一架。他气愤地抗议内务人民委员部根据叶诺夫的指示搜查了他在克里姆林宫的住处。斯大林冷静地回答说：“内务人民委员部也可以搜查我的住处。这没有什么奇怪的。”奥尔忠尼启则无疑抱怨了这次清洗运动以及对他的朋友和人民委员部中的高级干部的逮捕。两个人显然都发了脾气，长期的战友情谊和同志般的友情从此破裂了。
奥尔忠尼启则回到了他的办公室，伏案工作到第二天凌晨两点钟才回到自己的住处。根据他的妻子齐娜伊达·加甫利洛夫娜的证词说，他后来不肯起床。起床后又拒绝会见来访的朋友，也不吃饭，而一整天都在那里写东西。下午5点半的时候，她听到了枪声，就跑进房间，看到他已经死了，床单上溅满了鲜血。她立即打电话给斯大林，斯大林在政治局的其他委员以及叶诺夫的陪同下来到奥尔忠尼启则的住处。
1937年2月18日，报纸上刊登了奥尔忠尼启则心脏病突然发作去世的消息。官方的诊断书是由4位有名望的医生联名签署的，其中3人不久后就被捕并被处决了。
内务人民委员部逮捕了除他妻子以外的家庭成员，以及同他一起工作过的人，甚至连他别墅的守门员也没有放过。虽然一直有谣传，但是人们一般都以为他是患心脏病死的，直到1956年赫鲁晓夫才宣布他是自杀的。
然而，大清洗真正的结束是在1938年7月，这时，拉夫伦季·贝利亚被任命为叶诺夫的副手。他立即主管起内务人民委员部，虽然叶诺夫直到1938年12月才被调离该部去担任内陆水运人民委员。过后不久他便被处决了。
内务人民委员部中的许多官员因对无辜的人搞逼供而被审判和处决了，另一些人则被送往劳改营。忠诚的党员在经历了漫长的恶梦之后对清洗内务人民委员部感到宽慰。这证实了他们的看法，即法西斯分子渗入了保安部门和政府之中，他们要对叶诺夫时期的残酷迫害和冤案负责。这种解释得到了官方的鼓励，从而也在一定程度上开脱了斯大林和政治局的责任。
斯大林直接控制着苏联每一部门的政策并投身于武装部队的建设和外交政策的执行，他不可能一直过细地掌管清洗运动。他意识到内务人民委员部逮捕了许多无辜的人，在“古格拉”劳改营中的有些人，许多人根本没有对党、对社会主义不忠诚的污点，是无辜的。在任何一场如此大规模的运动中，他们是不可避免的牺牲品。但他对这种浪费人才的做法不满。飞机设计师雅柯夫列夫记述了1940年他和斯大林的一次谈话，斯大林大声说道：“叶诺夫是只耗子，他在1938年杀了许多无辜的人。为此，我们把他处决了。”
在这些可怕的年月里，斯大林显示出非凡的自制力，没有失去他的目标，他知道他在干什么。他相信，被清洗的大多数人原则上是犯了罪的，他以一种政治家的冷酷而行事。然而，斯大林不可能了解或研究这么多人的案子，他不得不接受像叶诺夫这样的他所厌恶和不信任的人的意见。然而，斯大林也会按这样的原则行事，即为了达到目的，这种牺牲是完全合理的。他还更进一步坚持认为，内务人民委员部在清洗叛徒的时候，对可能造成背叛的次要根源也不能放过。图哈切夫斯基等人的家属以及接近他们的人都被逮捕并被流放到西伯利亚。在这里，感情和良心没有起任何作用，一切都服从于他要建设一个强大的、攻无不克的社会主义苏联这一目标。
肃反和清党运动结束之时，正是苏联第二个五年计划结束和第三个五年计划开始之际。毋庸置疑，肃反和清党运动对苏联人民和党的事业造成了不小的损失，然而，由于经济工作一直没有放松，由于第一个五年计划奠定的良好基础，到这时，苏联仍然在经济上取得了重大成就，充分显示了社会主义制度的优越性。到30年代末期，苏联的工业力量已经赶上了德国，在矿业的总产量、基本建设和工厂设施等方面已经接近欧洲大陆所有最发达的国家。而这些国家是在外国资本家的帮助下，经过了四分之三个世纪深入的工业化才成功的。另外一些大陆国家，几年之前苏联人还难望其项背，而现在已经被抛到后边去了。工业革命从苏联中部和西部发展到其他亚洲部分遥远的不毛之地。
集体农庄也开始产生积极的成果。到30年代末期，苏联农业已经克服了30年代早期的衰退；工业也终于能够大量地供给拖拉机、联合收割机和其他农机具，集体农庄在不长的时间里，实现了相当高度的机械化。