在临城劫车案发生后不久，当时吴佩孚等直系将领就认为此案此案不是那么简单，其后必然另有隐情。因为在民国时期，不仅国内军阀混战，而且西方列强和日本频频插手中国，各自扶植各自的势力，其中，不但大军阀背后都有自己的列强背景，就是一些势力较大的土匪也与列强、日本等国家有密切的联系。而列强也时常借助土匪力量干些见不得人的勾当，并且，有些列强则明目张胆地支持一些土匪活动，甚至直接出兵阻挠中国军队的剿匪活动。其中又以日本在中国的活动最为猖獗。
当时，在临城劫车案前后，正是第一次世界大战结束后，日本极力谋求原德国在山东的利益，但在1922年华盛顿会议上，欧美列强采取了反对的态度，这迫使日本暂时从山东退出。但日本并没有死心，它仍继续阻挠中国收回山东，以便重新控制山东，作为进一步进攻中国的跳板。因而，日本始终在山东制造各种混乱，如在1924年中国从日本手中接收山东半岛的时候，日方就曾指使当地著匪孙百万进行骚扰；1923年8月上旬，山东陆军第七旅在平原县剿匪，也曾捕获过日本人。其实，不仅在山东一地，日本在整个中国都在制造种种事端，如在1924年6月，洮南镇守使阚朝玺经过数月围剿终于捕获巨匪卢占魁及其骨干分子后，正准备行刑，忽然在将要被砍头的人中有人大喊道：“我的日本人，在中国死了的不好！”此话一出，当时在场人都一惊，阚朝玺连忙下令暂停行刑，将此数人带近前来审问。他从这6个人的汉语发音和面庞容貌分析，认定确系“小鼻子”，只得命人将他们送往镇守使署，与日本官员会审，使这6人得免一死。
1923年5月，孙美瑶发动了临城劫车案，而实际上，这次劫车案还真没有幕后黑手，无论奉系还是日本人事先都不不知道孙美瑶要干这么一票，但是在劫车案发生后，精密的日本人立即就意识到这是一次很不错的机会，于是准备见缝插针，参与进来。但当时在车上被绑架的乘客中除了中国人就是欧美人，竟然一个日本人都没有，于是，就出现了日本人主动进山寻求绑架的怪事。
5月10日，当时孙美瑶已经与官军谈判，根绝协议，包围抱犊固的官军退出了山区，但官军在各山口均派遣了各县保卫团把守。就在这天傍晚，把守凤凰岭的峄县保卫团的队员们忽然在昏暗的树林看见一个骑毛驴的人，正在顺着山路向山里走。当时保卫团的人就觉得很奇怪，因为自从孙美瑶被围以后，附近居民就绝少靠近这个危险地带，这里官匪云集，枪声不断，自然谁也不会到这儿来溜达，所以突然出现这么个骑毛驴的人、而且还是在黄昏时间向山里走，当然可疑，于是队员们立即拦截了他。但此人见有人追上来，竟然急忙摧赶小毛驴企图逃跑，队员们见状更加确定此人与孙美瑶有关，于是，当即追了上去，一把把此人扯下了毛驴，押往设在枣庄的山东督军田中玉的行辕中。
“你是干什么的？”军官们立即审问。
“俺的，进山的说票。”那人用一种怪腔说话，似乎是山东口音，但又不是那个味。
“说票？那可是通匪，你知不知道？”名军官厉声问道。
“这个的，俺的不知道。”
三言两语下来，审问的军官就觉得此人不但形迹可疑，而且身份也十分可疑，于是，这位军官突然一拍桌子，厉声喝道：“凡私通土匪者一律枪毙，你明白不？来人，拉出去，枪毙！”
一听这话，这家伙顿时脸憋得像个紫茄子，想说什么一时又说不出来，但又着急。军官身边的人此时已经上前拖着他的两臂就往外走，来人更急得极力挣扎，不由地突然说，“我是日本人！你们不能杀我！”
本来，田中玉在得到临城发生劫车案后第一句问得就是有没有日本人被劫？因为谁都清楚，日本人正在寻找各种借口干涉山东，没有事还要制造些事，如果有日本人被劫，日本一定要大做文章，田中玉可躲都来不及。但没想到，虽然车里没有日本人，现在却自己冒出来一个，田中玉顿时大吃一惊。田中玉望着眼前这个日本人有些不知如何是好，思来想去，他决定还是先探探这个日本人的底。于是，他手下一名曾在日本士官学校学习过的副官找来，并拿出一瓶兰陵好酒，吩咐他好生招待这个日本人。这名副官也是个精明伶俐的人，他很快与这个日本人聊得情投意浓。
“先生为何此时要到山里去呢？山中是很危险的呀！”副官试探性地问道。
“危险？我不怕，我要见孙美瑶。”日本人此时半醉半醒，但好像也不太顾忌这个副官，他的眼睛里显然极为蔑视中国人，那种蔑视透露出一种意思：即便他把此行的目的告诉田中玉，田中玉也不敢把他怎么样，因为他是日本人。
“你认识孙美瑶？”
“不，孙的不好，绑了西洋人，没绑日本人，不好！我去！”
“你去说票？”
“不不不！我去做人质，当日本肉票。”
闻听此言，副官不由地倒吸一口冷气，日本也太疯狂了，竟然主动去当人票，那岂不是等于说要直接制造事端。田中玉听了副官的报告也不由得吓出一身冷汗，他深知日本人，如果此事一旦被日本人利用，那必然不再是一次简单的劫车案，而很有可能惹出更大的麻烦。当时，这次劫车案发生后，日本媒体就在国际上大造舆论，要求对中国铁路国际共管，因为中国无力管好铁路。
田中玉立即召来几名亲信军官、幕僚商议对策。当幕僚们得知此人就是为了劫车案而来的，一时也感到十分棘手，只能你一言我一语地议论。但最后，幕僚们还是给了田中玉一个明确的方向：首先，这个日本人是决不能进山，否则，孙美瑶的要价高低是小事，日本人插手就是大事了；第二，这个日本人也不能送回日本，因为日本人向来狡诈多变，谁也无法预料将此人送回后日本人还会利用此事做什么文章；第三，这个日本人进山的消息也不能走漏，否则，事情可能就会节外生枝，不知道还会多出什么事来。
幕僚们这样一说，田中玉虽然知道了方向在哪里，但却更加不知道如何处置此人好了，总不能就这样关着吧。忽然，田中玉一拍桌子，骂了声娘，说了句：“既然放又不能放，说又说不得，那就只有一个办法了！”
随后，他命令两名亲兵，悄悄把这个该死的日本人绑起来，带到深山老林里去。之后，就听到山林深处传出两声清脆的枪声——被逼得没辙的田中玉却找到了一个好办法，那就是秘密处死这个日本人——这倒是个不错的办法，既然他是秘密进山的，那就让他秘密地去死吧，而现在整个世界都知道了人票中没有日本人，那么日本政府也只能哑巴吃黄连，自己知道苦了。
但没想到，第二天，在同一时间、同一地点，又发现一个日本人，这一次，田中玉没有再拿出兰陵好酒，直接就拉出去毙了。
随后，田中玉也在此地和其他山口加派了自己的亲信，命令他们，只要发现日本人就采取同样的方式处理掉。而似乎日本方面也发觉两个日本人连续失踪，知道这应该不是孙美瑶干的，那就一定是被官军秘密处死了，但由于此事无法拿到桌面上，也就无法作文章，因而也不了了之，果真是哑巴吃黄连有苦说不出了。
田中玉也于10日当晚下令，严格封锁有关抓获日本人的消息，如有任何知情者泄露这一情况，格杀毋论。因此，云集枣庄的数百名记者无一人知道这桩劫车案中的一幕。在当时官方来往文书、政府档案中，也无一字提及此事。直到许多年之后，当时参与处理此事的知情人才将这宗日本人的阴谋披露出来。
临城劫车案虽然日本人没能参与进来，但日本人却由此发现当有西方人被劫持后，西方的反应异常严厉，于是，日本人开始认真研究利用土匪制造事端的种种方案，这年6月下旬，驻大连的日军司令部召集在华的日本浪人樱井等人，甚至秘密商议了四点具体指导方针：一、绑架欧美各国在华的外交官员和商人；二、抢劫各国在华的传教士；三、抢劫各避暑胜地外国官员、商人和旅游者；四、组织中国领海海务团，专门抢劫来往领海、领水的中外商船。而且，为了更好地利用中国土匪，日本还派遣了大批的日本浪人，退伍军人前往中国，他们可以在背后密谋策划，也可以直接参与土匪组织。不但如此，日本还秘密通告在中国各地的日本驻军，要很好利用土匪，为期提供枪支弹药等，或者出谋划策，提供侦察情报，协助土匪攻城拔寨，甚至在必要时可以直接出兵干涉等。
然而，显然覆盖面这样广的参与中国土匪是纸里包不住火的，很快，日本的这一企图就被北京政府内务部密探侦得，遂转知各省当局严加提防；后来又被新闻界人士获悉，巧妙地在报章上予以揭露，遭到中国和各国公正舆论的指责，但日本人丝毫不为所动，仍然继续奉行这一政策。