维也纳会晤中也出现过肯尼迪与赫鲁晓夫针锋相对并占上风的情况，特别是在第二天的会谈临近结束时。在此之前，肯尼迪总统顽固地，甚至是无以复加地坚持与赫鲁晓夫进行意识形态上的争辩，而这正是他的助手们警告他应尽力加以避免的，因为赫鲁晓夫很可能会在这样的争辩中控制局面。肯尼迪在维也纳没有做的就是忽略意识形态问题、对赫鲁晓夫的恐吓置之不理、提议直接讨论突出的德国问题。此外，如果赫鲁晓夫拒绝的话，那么冷静地与他道别，并邀请赫鲁晓夫进行实际的谈判，如果他做好准备的话。[9]
赫鲁晓夫起初想避开意识形态问题。当肯尼迪指责苏联“努力在与我们有关系的地方消除自由制度”时，赫鲁晓夫进行了反驳，不过他接着说道：“不管如何，这并非我们讨论的话题，这比战争问题的重要性差远了”。然而，肯尼迪并没有顺着他的意思，而是继续深究不放，坚持说莫斯科支持“没有反映人民意愿的”亲共产主义的少数派，因为“苏联相信这是历史发展的必然趋势”。赫鲁晓夫回答道：“美国试图建立起一道阻止人类思想与良知发展的屏障”。
这种毫无结果的口舌之争占据了第一次会谈几乎所有的时间。在午餐（在午餐会上，赫鲁晓夫说他很嫉妒美国总统，因为他这么年轻，不过即使已年届六十有七，他也不准备“退出竞争舞台”）以及休息片刻后，尽管他所开列的具体讨论问题（例如，老挝、德国与核试验问题）仍没有触及，但肯尼迪又回到了共产主义是否会注定取代资本主义这样的问题上。这导致双方继续在类似的问题上进行毫无结果的争论，例如，在古巴这样的地方，共产主义是否是外部强加的？美国现在是否想在那里复辟旧制度？
这种谈话并不会产生什么实际的重要意义。肯尼迪是想说明在核时代，这种意识形态领域内的竞争会带来危险。但是，这种反对苏联继续扩张共产主义的警告好像意味着美国已经接受了共产主义存在的现状。当苏联外交人员乔治·科尔连科读到此次会谈的记录时，他对美国总统的退让感到很惊讶。肯尼迪不仅莫名其妙地让会谈中的“这种哲学成分”一再持续下去，而且这听起来好像他“对赫鲁晓夫的理论表示认同，即资本主义处于消亡之中，未来是属于社会主义的”。肯尼迪的立场是如此的令人惊诧，以致科尔连科怀疑苏联的会谈记录是赫鲁晓夫的下属们修改过的，为了显示赫鲁晓夫的胜利。
肯尼迪在后来的会谈中澄清了他的观点：他并不反对任何其他国家社会现状的改变，只要不是将这些国家纳入苏联阵营，从而改变世界力量的********平衡。但是赫鲁晓夫对此难以接受。难道美国想粉碎菲德尔·卡斯特罗的企图不是想改变********的现状吗？当然他不会提及他本人就想发起一场新的全面攻势使西柏林脱离西方阵营了。此外，肯尼迪表达意思的方式使赫鲁晓夫不仅觉得在政治上是无法接受的，而且还有人身攻击的意味。肯尼迪总统警告说，任何一方的误判都有可能导致严重的后果。赫鲁晓夫回答说，误判是“个很模糊的字眼”。在他看来，这听起来就好像美国“想让苏联像个小学生似的把手放在背后坐着”，但是苏联是不会在维护自身利益上让步的。
尽管赫鲁晓夫的回答听起来很强硬，但美国方面负责记录的外交人员对此并没有给予足够的重视。因为就像肯尼迪当天晚上向肯尼思·奥唐奈尔回忆当时的情景时所说的那样（总统一边在大使的浴缸里泡着热水澡，以缓解背痛），“赫鲁晓夫都快疯了。他开始叫嚷起来：‘误判！误判！误判！我从你们的人民、你们的新闻记者以及他们在欧洲与其他各地的朋友那里听到的都是这个可恶的字眼，误判！你应当收起这个词，将它打入冷宫，永不再用！我讨厌这个词！’”
这位苏联领导人的大怒不仅仅反映了他的国家的过度敏感，同时也反映了他本人的敏感性。误判的指责之所以让他感觉如此痛苦，是因为莫洛托夫以前也曾这么指责过他，而且说得是恰如其分。毕竟，除此之外，他自己确立的德国政策还能有什么基础呢？但是当赫鲁晓夫怒气冲冲地威逼肯尼迪承认美国也有误判时（例如，未能预料到中国会介入朝鲜战争，甚至未能预料到猪湾入侵事件的结局），他将此看作是软弱的表示，因为在他的意识里，承认自己的错误就是一种软弱的表示。
肯尼迪接受过很高程度的教育，这使得他对像个“小学生”一样的谈判对手更加难以接受。午餐会上的谈判比第一次会谈要顺利得多，但餐后的散步却并非如此。肯尼迪坦率地陈述了他在国内遇到的困难（他解释说，他在大选中只以微弱的优势获胜，在国会里缺乏支持），并要求赫鲁晓夫不要强求他作出会使其地位进一步削弱的让步。肯尼迪得到的回答是赫鲁晓夫在柏林问题上进行了一番怒骂，这既体现了他恃强凌弱的想法，又使他预感到他的德国政策可能会再次因为美国反动派的阻挠而面临重重困难，美国的反动派已经使得艾森豪威尔总统脱离了缓和的道路，现在这位继任者可能会得到同样的对待。
下午的会谈并没有好起来，不过赫鲁晓夫对会谈的结果却很满意。因为肯尼迪承认说美国认为“中苏［原文如此］之间以及美国与西欧国家之间现有的力量对比多多少少处于一种平衡状态”。赫鲁晓夫据此认为他长期以来一直追求的目标已经得以实现：苏联在军备上已经实现了与美国的大体平等，这使得新的世界大战可以得到避免。
下午6时45分，肯尼迪送别赫鲁晓夫，看着赫鲁晓夫的汽车消失在视线里。在他的朋友，《星期日时报》记者亨利·布兰顿看来，肯尼迪总统显得“惊愕万分”。“一直都是这样吗？”肯尼迪问汤普森大使。“会谈中基本上是这样，”汤普森大使回答说，他本人也感到“很烦恼”，因为总统没有理睬他不要触及意识形态问题的劝告。
在有关建议的问题上，肯尼迪应该听听他夫人的意见。在与赫鲁晓夫家人呆了一晚上后（在宏大的舍布鲁恩宫举行了国宴，此后观看歌剧与芭蕾舞表演），杰奎琳·肯尼迪得出了正确的结论，赫鲁晓夫夫人“性格刚强而固执”，虽然据说阿朱别依对他的岳父有着巨大的影响，但“赫鲁晓夫并不是真正喜欢他”，“与他也不是特别亲近”。[10]在宴会上，赫鲁晓夫坐在肯尼迪夫人的旁边，他的喋喋不休让她想起了艾博特[11]和科斯特洛，而赫鲁晓夫发现肯尼迪夫人也是“快人快语”。当他吹嘘乌克兰现有的教师比1917年前更多时，她很快地接话说：“噢，主席先生，不要用这些统计数据让我感到厌烦。”赫鲁晓夫回忆说：“如果和她说话时不小心的话，那她可以随时找到适当的理由来打断你。”唉，对于她的丈夫而言，这种说法就可能有些过分了。[12]
6月4日，星期天，会谈于上午10时15分在苏联大使馆重新开始。肯尼迪终于谈到了具体问题。双方同意有必要在老挝实现停火，并组建一个中立的政府。但是肯尼迪提到了美国在亚洲以及其他地方所承担的义务，这激起了赫鲁晓夫的怒火。美国“富裕而强大，因此它认为自己有着特殊的权利，即使不承认其他人的权利也无所谓”。即使美国总统可以原谅赫鲁晓夫的率直，这种说法也是“狂妄自大”的。苏联不可能忍受别人对它指手画脚，叫它不要在这里、在那里“到处伸手”，特别是在美国“已经将其势力到处渗透的情况下”。西方人“比东方人更能以精巧方式制造威胁”，但是当美国人谈到他们“承担义务”时，这可能意味着他们会“接管克里米亚，因为这当然同样可以提高他们的地位”。
关于核试验的讨论没有任何结果。赫鲁晓夫仍然倾向于将禁止核试验与全面、彻底的裁军（他高兴地说，如果“双方都有善意”，那么在两年内达成协议应该是可能的）联系在一起。在柏林与德国问题上，他表现得很有礼貌但也很坚决。他考虑采取的行动将“影响我们两国的关系”，特别是“在美国误判苏联立场的情况下”。他想与肯尼迪总统达成协议——他特别强调了“和你”这个词——但是如果美国不做出回应，那么苏联将与东德“签署和平条约”，从而结束西方国家所有的占领权利，包括西方通往西柏林的通道。那天，赫鲁晓夫重复这一请求不下十次，好像是想让他自己与肯尼迪都对此留下更为深刻的印象。“世界上没有任何力量”可以阻止他。美国还想让他再等多长的时间？再等16年，还是30年？
肯尼迪这次坚定地维护了他的立场，冷静而有效地进行了回击。柏林不同于老挝。这是“美国最为关切的问题”。美国“不是因为别人的勉强同意才留在那里的。我们是通过斗争才得以实现在那里的存在的。……西欧对于我们的国家安全极为重要，我们在两次世界大战中对西欧都进行了支援”。赫鲁晓夫先生已经说了，美国总统是“位年轻人”，肯尼迪继续说，但是“他接掌美国政府权力也不是为了接受对美国利益完全有害的安排”。
对于肯尼迪这一强硬的表示，赫鲁晓夫一开始显得很暴躁：照肯尼迪对于国家安全的泛化界定，那“美国也许希望到莫斯科去，因为那当然也可以提高美国的地位”。接着他开始绕起圈子，向肯尼迪保证说“美国的声望不会受到损害，所有的人都明白这一点”。最后，他露出了凶相，宣称如果美国想在德国问题上挑起战争，那“就让战争现在开始吧”，而不是等到更为恐怖的武器发明之后。这些话让人觉得太过恐惧了，以致苏联的记录员将它们改成了“那就让美国承担由此引起的全部责任吧”，而美国的会谈记录员则将它们改成了“那就任其发展下去吧”。
午餐时的平静预示着又一场风暴的来临。赫鲁晓夫承诺如果美国也表示同意，那苏联将不会恢复核试验（然而会谈还没有结束，他就破坏了这一承诺），称赞首脑会晤是一个“可以倾听对方立场”的场合，并微笑着向肯尼迪保证说，虽然和东德签署和平条约也许会导致“局势骤然紧张”，但最后“乌云终会消散的，太阳会重新露出来，明媚地照在这个地球上”。
下午3时15分，两位领导人的最后一次会谈开始，参加人员只有他们的翻译。肯尼迪警告不要将美国陷入“其国家利益受到严重威胁的局势中”。赫鲁晓夫对此的理解是“美国想恫吓苏联，这是不可以接受的”。他提议也许可以签署一个关于柏林问题的临时协议，这可以保护“两国的声望与利益”，但在此之后，美国的权利会有所降低。当肯尼迪回击说，苏联提出的建议实际上就是退让与冲突，别无他途时，赫鲁晓夫回答说：“如果美国想要战争，那是你们的问题。”苏联签署和平条约的决定是“坚决的、不可避免的，如果美国拒绝签署临时协议，那苏联将于12月签署和平条约”。
“如果真是这样，”肯尼迪说：“那我们将会面临一个寒冷的冬天。”就这样结束了维也纳首脑会晤。
“我从来没有碰到过这样的人，”肯尼迪从维也纳回到美国后对《时报》记者休·西丹说：“［我］谈到核战争会在10分钟内使7000万人丧生，而他只是看着我，好像在说，‘那又怎么样？’”罗伯特·肯尼迪从来没有见过他的兄长“如此沮丧”。肯尼迪总统将首脑会晤的记录看了又看，特别是关于柏林问题的部分。赫鲁晓夫在维也纳交给肯尼迪总统的备忘录中，又给柏林问题的解决确定了六个月的最后期限。肯尼迪不希望将此公开，因此他在对全国所作的电视报告中没有提及这一点，他说虽然刚刚度过了“很沉闷的两天”，但“双方都没有进行威胁，也没有什么最后通牒之类的东西”。
赫鲁晓夫于6月11日公布了他的备忘录，并在6月15日的电视讲话中重申了六个月的最后期限。几天后（身着中将军装），他在克里姆林宫纪念粉碎纳粹入侵20周年的仪式上发表了又一次强硬的讲话。那些想在德国问题上“比试意志和力量”的西方领导人将会“遭到和希特勒同样的下场”，他说，并很快补充道：“请不要将我的这些话看作一种威胁。这是一种常识。”一个星期后，他吓唬说：“你们是不可能吓倒我们的，先生们，和平条约终将签署。”
对于赫鲁晓夫新的最后通牒，肯尼迪并没有马上作出反应，因为他还拿不准该说些什么。在被征求建议时，前国务卿迪安·艾奇逊[13]呼吁美国公开宣布进行核力量与常规军队的集结，将两到三个师转移到西德，并宣布国家进入紧急状态。如果赫鲁晓夫不理睬美国所发出的信息，封锁柏林，那么华盛顿就应该打破他们的封锁，并显示如有必要将进行核战争的决心。其他的顾问，例如汤普森大使，则赞同最好进行秘密的军事集结，并为在西德预期的九月选举后重开外交谈判准备条件。
肯尼迪总统决定为所有的选择留出空间；他下令为以非核力量保卫柏林进行准备，但并没有排除谈判的可能。罗伯特·肯尼迪警告苏联幕后的对话者乔治·波尔沙科夫说，他们从5月份以来一直进行着秘密的对话，肯尼迪总统宁死也不会投降的，同时保罗·尼茨和沃尔特·罗斯托夫也向缅希科夫传达了同样的信息。但是这位大使在向克里姆林宫汇报时却用了他认为赫鲁晓夫肯定爱听的词句，他说肯尼迪兄弟喜欢“人前显贵”，但是真正到了与东德签署和平条约的时候，他们将会是“第一个吓得尿裤子的人”。[14]