6月初，黄郛因对日外交办理不当，引咎辞职，蒋介石旋正式任命王正廷为外交部长。王就职不久，即与日方就“济南惨案”开始非正式的谈判。谈判地点就在上海法租界古拔路王的家中。
当时，日方代表是驻沪总领事矢田，中国代表是外交部亚洲司司长周龙光。矢田声称，中国军队在济南杀害日本侨民，抢劫日商财产，损失浩大，日本不得已出兵，解决济案，中国必须道歉，惩办肇事祸首等等。中方答以济案发生其根源在日本出兵，是非曲直，自有定论。是非责任及双方损失真情，都应以调查为准，但最重要者，为日本应从速撤兵。但一谈及此点，矢田总是避而不答，双方意见相持不下，谈判遂告中断。矢田虽然受命于日本政府，但其为人却有朴直一面，每逢中方激烈抨击，他并不狡赖，似有一种理屈之感。当交涉破裂之后，日本各新闻记者追问他破裂原因，谈到撤兵一节，他的言语中隐约带出“根本就不应出兵”之意。这话传到田中耳朵里，他马上把矢田撤调回国。矢田在仕途中再无升迁。
但据当时情况看，日方并非不急于解决，只是不肯轻易吐口，外表上装出一副无关紧要的样子，所以谈判时断时续。后来日本外务省又派职员上村到南京，以帝大同学关系，私人探访周龙光，装着无意中谈及济南问题，来探口气。上村自己表示，如必要时，他愿做“鲁仲连”（东周列国人物，齐人，不屑仕宦，专好远游，为人排难解纷）。因而济案谈判遂又被拾起。双方争执焦点仍在日方撤兵问题上。国民党方面要求日方先撤兵再谈其他。日方则企图先谈妥其他再谈撤兵，以便有兵好挟制中国。因此双方在南京举行了三次会谈，皆无结果。就这样拖了好几个月。在国民党方面，因为这时已攻下北京，奉军也退至关外，蒋介石的势力已扩展到华北，济南问题已经不是他最关心的事了，所以国民党政府并不十分急于解决。但这种拖延战术却使日本方面沉不住气了。因为日本政府劳师动众，驻军国外，尽管统治者混淆是非，蒙骗大众，但多数人毕竟不愿卷入战争，连日本的财阀集团亦因长期未能获得更多的现实利益，而啧有怨言。于是在1928年年底，几经波折，日本驻华公使芳泽谦吉又同王正廷进行非正式谈判。
芳泽返华回任，不由天津直接赴北京，而先到上海，借口转道南京北上，实际在试探中方态度，想重开谈判之门。芳泽抵沪即派人转告周龙光，说公使此来带有诚意解决济案问题，是否可请王正廷与其会面？周龙光马上跑去问王正廷，王正廷态度仍很强硬：“以前谈判停顿之关键，在于撤兵问题。此次芳泽公使来，是否能办到撤兵？他如果能有权决定撤兵，则可一谈，否则谈也无益。”周龙光把话递过去，芳泽连说撤兵问题可以考虑。王正廷回了一声：“那就到南京我家里来见。”
芳泽遂携随员赶到南京王正廷私寓，登门拜访。王正廷坐立有姿，不失礼节。他有这个本事：与军人为伍，他是个军人；在江洋大盗面前，他又是江洋大盗。他能把狂风突然降为细雨。这两次会见，只是普通应酬，定了下次谈判的日期。
芳泽求见蒋介石。
自从济案发生后，蒋介石不愿见任何日本官员；在华日本人员屡次求见均遭拒绝。但这次蒋介石盘算，芳泽一定是持田中命令而来，济案必可解决，所以破例接见。但不知蒋介石为何又做得如此过分：不但殷勤招待，芳泽辞行时，蒋介石还手持大衣，亲为他披上……乐得芳泽回过脸来，扬声大笑。
数日后，王正廷与芳泽再谈。
芳泽连连鞠躬，说：“我是抱着解决中日间问题、诚心诚意来此的。”
王正廷没有蒋介石那样恭敬，立即开门见山：“前次谈判失败，没有别的原因，就是因为日本不肯撤兵，此次能否解决此项问题？”
“可以考虑，”芳泽声音发颤，“不过济案发生，日方损失甚大，前次所提四项要求，应先解决”。
王正廷眼睑半闭着低语道：“若论损失，中国军民死伤更多，数十倍于日本，若谈赔偿，日本亦须同样赔偿。”他突然睁大眼睛：“而中国外交官员被杀，应由日本政府谢罪！”
芳泽像咀嚼着什么东西，不吭气。
王正廷抬腕一看表：“算了算了，休会吧。时间也晚了。”
过了一天两人又到王宅来谈。芳泽力言不愿自我停顿，又大谈中日恢复邦交问题，东拉西扯，离题万里。王正廷急了，追问道：“撤兵问题到底谈不谈？”
“这个问题不是不可商量，”芳泽语调已经软下来，“但须请示田中内阁。”
王正廷见芳泽不再提及撤兵之先决条件，而且说了许多有关恢复邦交的话，也稍改口气，不再坚持要求日本政府谢罪一节。会谈气氛较前和缓。
在谈判期间，周龙光已从日本在华人士获悉，芳泽此次来华，确受田中委以全权，若芳泽承认撤兵，不必再请示田中。因其出兵济南，已成骑虎难下之势；田中亦欲早日办妥交涉，以解决其内部矛盾及应付反对党之非难。但芳泽却不肯下决心，他因事回沪后，又告休会，约定在沪再谈。
到沪后，又连续谈过两次。第一次芳泽又犯了老毛病，东拉西扯，夸夸其谈，所谈内容无关宏旨。王正廷已渐不耐。到第二次谈话，芳泽又是那一套。王正廷把手表伸到芳泽面前：“喂，现在已是深夜4点了，你别再兜圈子了好不好？”
芳泽似如梦初醒，用拳头堵住哈欠说：“好，好……”
两人这才达成协议，原则上先撤兵，再设立调查委员会，调查起事原因及双方损失，调查后研究同价赔偿问题。会后由双方部员，共同起草协议书，交双方批准后再开正式会议，并协定撤兵日期。
至此，谈判似已结束。孰知日方突生变故，节外生枝。双方属员起草完协议书后，王、芳再晤于上海，芳泽发言说：“我方接政府训令，对于前日所议内容中，关于同设立调查委员会一事，我政府万难承认，务请删去。”
王正廷手压在草案上，似怕人抢走一般，大喝一声：“万难改动内容！此等信用问题，日本政府应负全责！”他狠狠盯着芳泽，声色俱厉：“前次会议，曾屡询君是否有全权及是否尚需请示，君已明言有全权，无须再请训，今日何能出尔反尔？且关于同等价格赔偿损失，在与矢田会议上已经承认，矢田议定后经田中否认，君来续商，经五六次会议，两方始同意，而田中又否认之。矢田前此失信，我已非常愤慨，然犹隐忍不言，以示我速谋解决济案之诚意。今日二度失信，则田中内阁手段过于卑劣，我绝不能承认！如此看来，日政府毫无诚意，君来亦只以欺诈手段对付我等，借为对内之利用，外间所传，果不诬也。”
王正廷口气缓慢而庄严，在他闪烁的言辞里边，既有自尊，又有威吓，更多的是愤慨。他说完了，屋里的紧张空气令人窒息。
面对王正廷的严辞，芳泽却并不动容，稳稳地坐着，只是说：“君以邻邦外长身份，痛骂邻邦首相，手段卑劣，近于失敬；请君取消此言，免伤感情。”
王正廷眼睛一横，字儿咬得清白：“事实如此，我不能不愤慨言之，我决不取消此言！”
芳泽直拍前额，无可奈何，双方你来我往，各持己见，无法再谈下去。此时会场外，中外记者都在等候最后消息，急得要敲门。周龙光问王正廷，如何对记者发表会议结果？王正廷说：“你去宣告，会议破裂！”
芳泽一听“破裂”二字，浑身一震，极为不安；本来已经起身，这时重新坐下，嘴里叨叨咕咕，嗓子好像缺油的滑车一样，吱吱直响，最后变成一阵可怕的咳嗽：“不，不能用……破裂。”
最后商量结果，以“谈判停顿”四字宣告于外，芳泽这才安心告辞。
据事后了解，确系日本外务省又有异议，电令删改。因田中虽兼外务首相，而由政务次官森恪操实权。森恪出身于三井财阀，系三井财团一流人物。田中侵华政策，有其在后撑腰。加之其对于外交又非内行，又有点众议员野性，对于其在外代表的立场，不假思索，故出此轻率之举。芳泽自知理亏，甘受王正廷之严厉斥责而不加多辩。此后数日，中方鄙之不屑为对手，芳泽就在上海寓所借酒浇愁。一天周龙光去访他，芳泽一筹莫展，最后举杯向周龙光说：“哎！周先生，我真想跳黄浦江去！”说完连连摇头。
交涉再三发生变化。以后改为周龙光与日本驻沪总领事重光葵秘密会谈。到由外交部长王正廷和日本公使芳泽谦吉终于签订协定，则是翌年3月28日的事了。协定没有追究任何一方的军事责任，而只决定了：一、自签订日起两个月内，日军在山东的驻军全部撤退。二、双方损害，共同组织调查委员会另行调查等项。
中国外交官蔡公时之被残杀，不再追究，赔偿损失问题实际也予以搁置。这是由于中国方面片面让步而告终结。然而，“济南惨案”在中国民众中，无疑是一把烈火，抗日情绪燃遍了全国每一角落。在日本，则敞开了军阀专横干政的大门。同时，这更是在日本昭和时期将中日关系搅拌上火药、涂满了鲜血的最初一个记号。
“万宝山事件”和“中村事件”，点燃了“九一八事变”的导火索。当年30岁的张学良，虽有国恨家仇，但不相信日本人会搞这样粗暴的行动，那是违反国际条约，会引起国际问题的。然而事变还是发生了。当他90岁时，他承认当年对日本的判断是错了。