在扬州之乱平定后，武则天意识到只有牢牢抓住军权才是巩固自己地位的关键，而自己恰恰忽略了这个事情，也可以说武则天还没精力去认真对待这件大事。在一切都平静后，武则天开始着手对军队进行改造。而改造的第一步就是清洗她认为不可靠的将领。当时左骁卫大将军、并检校左羽林军的程务挺成为了第一个目标。
程务挺曾靠战功屡次升迁，后仰仗裴炎的推荐当上了手握重兵的大将。在废立李显的过程中，程务挺带领羽林军帮助武则天成功实现了目标，立下了大功。在突厥势力再起后，武则天任命程务挺负责西边对突厥作战的指挥官。而与此同时，扬州之乱发生，武则天准备处决裴炎。程务挺得知此事后，立即上表武则天替裴炎求情，并以自己的身家性命为担保，保证裴炎不会谋反。这下武则天有点不放心程务挺了，害怕他也跟着造反，腾出手来就派人将程务挺赐死了。当时突厥人非常惧怕这位英勇的将军，听说程务挺被冤杀，大喜过望，认为是天助突厥，消灭了劲敌。
另外一个与程务挺曾经共患难的将领王方翼也被武则天猜忌，生怕他因为程务挺被杀而发动叛乱。为此武则天将王方翼召回长安，关押起来审查。审来审去，找不到一点儿定罪的证据。无可奈何之下，武则天只好将其流放到崖州（今属海南）。王方翼莫名其妙地遭到了这样的迫害，到达崖州不久就去世了。
接下来武则天的矛头直指平乱有功的李孝逸。李孝逸虽然平定了扬州之乱，但是武则天对他是最不放心的。她之所以让李孝逸去平乱主要是从政治角度考虑。而李孝逸平乱也有一个潜在目的，即通过平息叛乱，以期达到敦促武则天早日归政于李旦。可是武则天的目标是要当皇帝，因此两人的意见注定无法统一起来。武则天越发意识到不能让李家的人掌握军权。平乱后的第二年，武则天便授意武承嗣、武三思诬告李孝逸与李氏贵族来往过密，解除了他的军权，派往地方做刺史。而李孝逸这时候也看出了武则天的意图，只恨自己平乱太卖力气。后来武则天借口李孝逸有篡位之嫌，将其贬到儋州（今属海南），李孝逸最后郁郁而亡。