在谋取华北事倍功半后，日军终于策划了全面侵华战争，1937年7月7日制造了“卢沟桥事变”，随后大举入侵，很快就占领了华北、华南、华中广大地区，大半个中国收入日本囊中。同时，日本扶植了王克敏、梁鸿志、德穆楚克栋鲁普等傀儡政权，另外还建立了以吴佩孚为首脑的伪“中央政府”。
土肥原在这场大规模入侵战中仍扮演了重要角色，土肥原师团奉命率部出征华北，于8月20日在塘沽登陆，随后参加了北平永定河作战。之后即开始大举进攻，先后攻克保定、石家庄、邢台、邯郸、磁县、大名、安阳、新乡，直抵黄河渡口，进军十分迅速，被日本媒体赞誉为“华北战场上的一颗明星”。此后的作战也证明，土肥原不但是一位间谍大师，也是卓越的军事将领。1938年5月，土肥原兵团由长垣渡黄河，进入陇海路地区，准备进攻郑州。当时，日军大体上分为两路，一路是从上海逆长江而上，直指武汉；另一路是从华北沿平汉路南下，这两路日军就对国民党军形成了夹击之势。
日军的强大攻势让南京政府十分惊慌，蒋介石在两个方向都部署了重兵。由于北线日军兵力相对薄弱，而国民党军又以重兵防守，因此北线日军就有些犹豫，这时正是土肥原率部一马当先，起到了先锋的作用。当时，土肥原并没有得到完全的授权，而仅仅是得到了一个电话同意，于是土肥原就率领五千多人直插中国防线的后方。这种孤军深入是相当危险的，因为土肥原所部深入中国防线后，其周围中国军队的兵力相当于他的10倍，如果中国军队合力进攻，一定能全歼土肥原。中国军队发现土肥原孤军深入后，当然也认为这是一个绝好的机会，于是展开了进攻。此时，土肥原发现，在中国防线中有一个不起眼的小地方叫兰封，地方虽小，但却是一个咽喉要地，如果能占据这里就可以坚守至增援部队到来。与此同时，中国军队也已经完成了合围，土肥原于是当即立断，他集中了他所有的兵力，向兰封方向进攻。当时负责这一地区防守的是桂永清，此人好大喜功，本以为能在围歼土肥原中捞取战功，没想到会遭到土肥原部队的全力进攻，他唯恐自己的部队遭受重创，于是很快就被土肥原击溃。随后，土肥原占据了兰封，并以此为据守堡垒，果然一直坚持到援军到来。由此，中国军队北线的防守已经相当于失败，此后，土肥原率军继续南下，兵锋直指郑州。
当土肥原师团威逼郑州后，南京政府为了能保住武汉，阻止土肥原师团沿着平汉路进军，竟然在6月6日炸开了花园口大堤，滔滔黄河水瞬间淹没了中原大地，上千万人遭难。土肥原师团也被这场大水围困了整整一个月，最后在工兵的帮助下才算脱离。
在脱离黄河水难之后，土肥原被调入参谋本部。原来，日本内阁认为，在大规模入侵展开后，需要一个应对中国局势变化的组织，于是决定成立“对华特别委员会”，由土肥原贤二、津田静枝和坂西利八郎组成领导小组，三人分别代表陆军、海军和外务省，因侵华战争以陆军为主，因而任命土肥原为负责人，这个委员会因而也被称为“土肥原机关”。“土肥原机关”办事处设在上海虹口公园附近的一所别墅内，这里也是土肥原的住所，他将此地又命名为“重光堂”。“土肥原机关”实际上成了当时日本在华最大的特务组织，另外的特务如织，如田中隆吉、影佐祯昭、今井武夫等所属组织都相当于“土肥原机关”的分支机构。
“土肥原机关”成立后，其首要的任务就是诱降，即诱降那些国民政府军政要人以及地方军阀，如靳云鹏、唐绍仪和吴佩孚等人，另外还建立了针对国民党核心以及策反汪精卫的“桐工作”和“渡边工作”，因而，“土肥原机关”实际上成为总揽中国隐秘战场的中枢机构。
但是，让土肥原没想到的是，他的诱降工作尚未展开就遭遇一连串的失败。靳云鹏原为北洋政府中的亲日派，在1921年下台后曾与日本财阀合作经过过一段时间的实业，不久后皈依佛门，从此对世事再无兴趣，本来靳云鹏很可能为日本人所用，但现在却成了一个好看不中用的菩萨。唐绍仪也曾是北洋重臣，土肥原相当看重他，因而于1938年9月亲自出面进行说服，但蒋介石闻之此事后，深恐唐为日本所用，于是断然下了暗杀令，结果唐绍仪在与土肥原会谈后不久就被戴笠的杀手干掉了，土肥原的诱降工作再告流产。比靳云鹏和唐绍仪更有分量的就是吴佩孚了，这个昔日中国三大军阀之一的人物败于北伐军后就长期隐居在北平的什景花园。“卢沟桥事变”后，吴佩孚的门前重新热闹起来，各色人等纷至沓来，希望吴佩孚重新出山，其中就有日本说客。但吴佩孚始终态度暧昧，每每与来人谈及佛教因果之说，使人难以摸清其内心真实想法。土肥原几经试探后，吴佩孚最终开出了他的价码，他可以出山，但要就建立属于他自己的军队和政权。吴佩孚的要求显然是日本人所不能接受的，他们并不需要扶植一个军阀，而是需要利用吴佩孚的威望，供职于日本控制的傀儡政府。所以，土肥原机关在北方开展的诱降工作可以说没有重大收获。不过，在南方开展的诱降工作就可以用成绩斐然来形容了，这就是针对汪精卫的“渡边工作”成功策反了汪精卫。
汪精卫投敌有一个十分复杂的过程，其中日方所起的作用很重要。自抗战爆发后，汪精卫集团屡遭蒋介石集团的打击，汪精卫本人可以说郁郁不得志，实际上自广州北伐以来他就一直被蒋介石压制着，虽有国民党领袖之望，却无实权，更无嫡系部队，因此他很难在国民政府内掌握实权。蒋介石退入四川的过程实际上也是一个排除异己的过程，汪精卫在国民党内的空间越来越狭小。因而，汪精卫集团暗中一直在与日本人联系，影佐祯昭和今井武夫等人就一直在进行策反工作。
在土肥原的如意算盘中，他希望汪精卫和吴佩孚能联起手来组成一个汪吴伪政府，两人都是中国赫赫有名的领袖，如他们二人能成为伪政权的领导人，那么就具有相当的号召力了。为此，土肥原仍未放弃策反吴佩孚，他亲自来到北平与吴佩孚会谈。当时，土肥原来到吴佩孚居住的什锦花园后，发现吴佩孚竟然穿着当年北洋政府的大元帅服与他见面，厅堂上还摆放着关云长、岳飞的画像，“精忠报国”几个字格外醒目，他便明白了吴佩孚的用意。
随后，吴佩孚说了一大通长篇大论，但土肥原没理会他这些，反而带着哭泣的声音说请玉帅（吴佩孚号称玉帅）救救日本。吴佩孚顿时一愣，不知土肥原何以有此一说。土肥原随后说，日本侵略中国，这实际上是一个大错误，这将会把日本引向一个亡国的方向，现在请玉帅出山，就是想依靠玉帅的威望重建中国政府，这也等于是在挽救日本。吴佩孚听后哈哈大笑道：“我自身尚不能救，焉能救别人？”吴佩孚岂能不懂土肥原花言巧语的用意，于是给了他一个软钉子。随后土肥原单刀直入询问吴佩孚对日本第二次对华声明的看法，并询问他谁可以代表中国。吴佩孚回答，他只同意声明中的第一条，即重庆政府只是中国的一个地方政府，其他各条不敢苟同；至于谁可代表中国，他回答说他可以代表中国，但他明确告诉土肥原，如果他组建政府，那么这个政府既不像重庆政府那样仰英美之鼻息，也不会像王克敏那样是日本的傀儡，而是代表中国人的政权。并强调说，这一点至关重要。两人的谈判最后还是没有任何成果。
但就在这时，汪精卫那边传来了好消息。1938年12月18日，汪精卫以参加纪念活动为由前往成都，随后取道昆明，于21日溜到河内，28日发表了叛国投敌的“艳电”。汪精卫的投敌叛变对诱降吴佩孚起到了相当作用，在汪发表“艳电”后，土肥原再次致电吴佩孚，劝说其归降。吴很清楚，他已经是一个失败的军阀，在政治声望上不及汪精卫，如果他继续坚持原来的立场和价码，日本人最后可能会放弃他，这样他就恐再无出头之日。因而，曾经坚持要建立“中国人的政府”的吴佩孚终于妥协了，他最终与汪精卫的特使达成协议，在新成立的政权中，汪精卫掌握党权，成为党的领袖；吴佩孚掌握军权，成为军队的统帅。当土肥原听到这个消息后异常兴奋，他终于促成了汪吴联手组建伪政权。然而，就在他笑声为止的时候又传来一个坏消息——吴佩孚前几天偶染牙疾，日本人于是给他介绍了一个牙医，这本是小病，但没想到病情越来越严重，最终吴佩孚竟然因此一命呜呼！
土肥原身为日本特务巨头，他当然不相信吴佩孚会因一个小小的牙疾而丧命，那么就只有两种可能，一个是戴笠用了什么办法杀死了吴佩孚；一个就是华北的日本军人干掉了吴佩孚，因为华北日军对吴佩孚向无好感，认为此人如掌握伪政权军权恐对日军不利。在这两者中，后者的可能性最大。土肥原不禁喟然长叹，他的计划没有毁于中国人之手，却被日本人暗算。
此后，参谋本部再调土肥原回国，任其为北满第五军事参议官兼陆军士官学校校长。1941年4月又出任东条英机内阁陆军航空总监，1943年3月又被派往新加坡出任日本第七方面军司令官，1945年4月再调回东京，任教育总监，并最终从这儿走进了横滨刑事拘留所和东京巢鸭监狱。
在战后的东京大审判中，土肥原仍然一脸狂傲，称：“我土肥原要让中国人和美国人睁大眼睛看看，真正的日本武士在失败时，在严峻的考验面前是个什么样子！”
土肥原虽然是一代谍报枭雄，但却异常清廉，在被捕时美军宪兵在他的住宅内不但没有找到任何证据，而且连一点贵重物品都没发现，而且他的住宅就是两间小屋，与当时日本的平民住宅一模一样，这与戴笠家资不计其数成鲜明对比。