但当1945年来临后，日本人在太平洋战争中一败再败，世界反法西斯战争也胜利在望，苏军对日本的攻击一触即发，此时，谢文东这个投机者明白日本人的日子不会长了，于是在10月，谢文东以养病的名义前往小五站大义屯，随后就率众1000多人打出了国民党的旗帜，自称“叁江人民自治军”，后组建国民党第五战区中央先遣军第三军，被国民党委任军长。之后，谢文东又在勃利、桦南等地组建十几个团，共计1500余人。同年11月合江省主席李延禄，以抗日联军的老关系，给谢多次写信，让他认清形势，相信共产党的政策，不要上国民党的当。而老奸巨猾的谢文东于是采取脚踏两支船的办法，开始秘密与李延禄谈判，他阳奉阴违同意将其部收编为三江人民自治军。但他暗地却把队伍调往他地。实际上，由于国共双方在日本投降后争夺东北，谢文东只是在观察形势，当国民党利用美军的支援迅速抢占东北后，11月下旬，国民党特派员武康赶到勃利，谢文东遂将队伍改编为国民党“东北第十五集团军第一先遣军”，谢文东被委任上将总司令。谢文东投靠国民党后就活动于勃利、依兰、林口、鸡宁（西）等县与共产党和人民为敌。烧杀抢掠，破坏解放区后防根据地。当时，谢文东匪众算是东北实力最大的一支，而且谢文东在对抗日本关东军时声名远播，因而颇为国民党所看重，仅从委任的军衔也能看出来——其他几个投靠国民党的土匪所获得的军衔最大也不过是少将，如许大马棒、座山雕等土匪头子的衔头，则最大也不过是东北先遣军少将旅长，显然也是看重谢的实力。
当谢文东成为“中央胡子”之后，苏联红军此时也正在东北肃清日本投降后的各地土匪，谢文东当然也在此列。当时苏联红军出兵东北、到达刁翎地区时，打惯了正规战的红军根本不把这批山林土匪放在眼里，丝毫不相信老百姓关于胡匪如何难以消灭的说法。在剿匪中，曾有一名红军副司令带兵进山剿匪，结果在山区被土匪弄得团团转，强大的苏联红军此时竟然只有挨打的份儿，结果那名副司令后来也也中弹牺牲。损兵折将的苏军恼怒之极，调来坦克部队和大炮进山攻击，但在深山老林中根本就找不到土匪，坦克大炮尽管对着树林一阵狂轰滥炸，却连一个土匪也未打死。
苏军撤走后，东北民主联军也曾两次围剿刁翎地区的谢文东及其他各股土匪。一次，民主联军情报员获知国民党正在拉拢、收编胡匪的详情，通报给民主联军，于是民主联军派人伪装成国民党特务，与胡匪联系，通知某日将有飞机载某要人来给匪首们颁发委任状，要求匪徒届时在空地集中听训。民主联军的意图是打算一举全歼胡匪，但当民主联军驾驶的这驾飞机飞临广场上空的时候，却发现下面黑压压的一大片，不仅有土匪，而且还有更多的老百姓，结果只好作罢。原来，谢文东根本就不相信这个鬼把戏，他虽然没有怀疑到来人是猫冒充的特务，也相信国民党将要给他颁发任命状、训话之类的，但却仍然防了一手。因而这一天他命令土匪裹挟了附近很多百姓一起聚集在空地上。又有一次，当民主联军的密探打探到土匪的驻地后，立即调遣数量坦克、装甲车和几支部队分进合击。这一次倒是取得重大战果，两天之内歼匪数千人，许多匪徒纷纷投降，但狡猾的谢文东等匪首还是率残匪逃出合围。谢文东带领残余匪众来到了尚志县一面坡一带。1946年冬，牡丹江部队再次追剿，他又窜回蚂蚁河以东、牡丹江以西的莲花泡的深山之中。此时谢文东仍有数百人之众，他时而躲进山林中，时而外出劫掠一番。谢文东仗着人地熟悉，根本不把民主联军的剿匪当作一回事。当时他外出劫掠时，每到一地，就用拐杖敲着地面说，这座山是我们的，我某年某月来过；或者用拐杖指点山林说，那片地方也有我们的秘密营地。得意之情，溢于言表，俨然他就是山林之王。有时他慢条斯理地对匪徒们说：“吾人谢文东，从戎十二年，土龙山起事后，皇军精锐数百人进山追剿，路途不熟，迷失方向，冻死深山，无一生还。今日之共军，区区无几，粮缺弹少，又能奈我谢某何！”有时，他又供上随身携带的小铜佛，打上一卦，然后向喽罗们宣布：“运气不错，咱们马上可以过牡丹江，到刁翎，我们仍然是王爷！”
1946年3月由方强领导的三五九旅部队进驻勃利、桦南后，几次和谢文东交战，谢部频频失利。此时，东北局势已经对国民党十分不利，东北决战在即，国民党特别需要谢文东这样的善战之将，因而也在极力稳住谢文东。为此，国民党在西三道河子召开的整编会议上，特派员杨义儒以代表国民党东北剿共总司令的名义委任谢文东为合江省保安军第二集团军中将司令官。此时，共产党为了尽早解决东北问题也希望争取谢文东，但谢文东左思右想之后还是选择了继续跟随国民党。