英国当即着手进行游说活动，倡导组织一个西欧联盟；美国则出钱出枪，意欲挤进欧洲。
北约总部在布鲁塞尔召开大西洋理事会部长会议1948年2月，英国正式提出成立西欧联盟的主张，西欧各国群起响应，五个国家的代表齐聚布鲁塞尔，共商联盟事宜，于3月17日签署了有效期为50年的《布鲁塞尔条约》。该条约虽然涉及到政治、经济、军事各个方面，但以军事为主。同年7月，美国把《布鲁塞尔条约》五国及加拿大的代表约到华盛顿，进行协商，提出把西欧纳入自己的全球战略中，由美国做盟主，并且要求西欧担负起保卫美国的任务。西欧各国代表一听，也直截了当地提出要求美国明确保证担负起保卫西欧的任务。双方各执己见，争论不休，最后毕竟是西欧各国缺乏应有的实力，没有谁能担负起重大的责任，所以，只能遂了美国的愿，达成妥协：
西欧各国尊美国为盟主，美国也承担一定的保卫西欧的义务。
1949年4月4日，一个庞大的西方军事集团在华盛顿正式成立，有12个国家正式签了字：美国、加拿大、英国、法国、比利时、荷兰、卢森堡、意大利、挪威、冰岛、葡萄牙、丹麦，这就是北大西洋公约组织。它们约定：“各缔约国同意对欧洲或北美一个或数个缔约国家之武装攻击，应视为对缔约国全体之攻击”，因此，各缔约国承担“采取必要行动”的义务。
北约缔结后，其第一项重要工作就是制定统一的战略。1950年1月，北约理事会第三次会议批准的一个报告和盘托出了北约的统一战略。其主要思想是，由美国出原子弹和战略空军，构成所谓的“剑”，西欧出地面部队，构成所谓的“盾”，以“盾”来抵御最初的进攻。至1951年底，北约已有35个师、3000架飞机、700艘舰艇。按照这个战略构想，北约各成员国加紧扩军备战。
1954年9月28日，美国邀请加、英、法、比、卢、意、联邦德国八个国家的外长在伦敦开会，讨论联邦德国加入北约的问题。有些国家担心德国再次崛起，但美国人早就打定了主意，软硬兼施，迫使几个国家终于签署了《最后议定书》，同意联邦德国加入北约。随后，又签订了《伦敦-巴黎协定》，宣布结束西方国家对西德的占领，使德国、意大利取得北约组织成员国的资格。次年5月5日，西德正式加入北约。
西德加入北约不久，不但使西德恢复了主权，获得了独立国家的地位，更重要的是使德国可以重新获得武装。它对战后国际军事力量产生了巨大的影响，也进一步加剧了东西方两大阵营的对立。
为了抗议北约吸收西德入盟，苏联于1954年11月底，将波兰、捷克斯洛伐克、民主德国、匈牙利、罗马尼亚、保加利亚和阿尔巴尼亚的代表邀到莫斯科开会，对西方国家的对联邦德国的政策进行谴责，并警告西方，如果西方国家接受西德参加北约，那么苏联和东欧国家就要采取共同措施，建立联合武装力量及其指挥部。
1955年3月，苏联和东欧各国进一步就签订集体友好互助条约和建立联合武装力量等问题进行协商，并取得了一致意见。
华约组织在军事演习中，苏军将军事装备运往远东5月，随着西方国家接收西德加入北约，苏联就与东欧7国签订了《友好合作互助条约》，即华沙条约，通过了成立武装部队联合司令部的决议。苏联元帅科涅夫出任首任联合武装部队总司令。条约于6月4日正式生效，有效期为20年，到期满前如果没有宣布该条约无效，将继续生效10年。这个协议的主要内容也类似于北约的协议。条约规定：“如果在欧洲发生了任何国家或国家集团对一个或几个缔约国的武装进攻，每一缔约国……应个别地或通过与其他缔约国的协议，以一切它认为必要的方式，包括使用武装部队，立即对遭受这种进攻的某一国家或几个国家给予援助。”
两大军事集团形成后，美苏斗争进一步加剧，双方你来我往，各不相让。由于柏林的地位问题，又引发了第二次柏林危机。
在柏林的归属上，西德认为：“柏林是德意志联邦共和国的一个州”；而东德认为：“整个柏林位于德意志民主共和国领土，整个柏林属于德意志民主共和国的主权范围”；美英法三国认为西柏林处于美英法三国军事占领之下，与西德有着“特殊关系”；苏联则完全支持东德的立场。矛盾日趋激烈，危机不可避免。
1958年11月27日，苏联政府照会美、英、法3国政府，限期半年要他们结束对西柏林的占领状态。赫鲁晓夫发表公开讲话：“每个人都明白，柏林位于德意志民主共和国赖以建立并且发展的那一部分德国领土上，因此，最正确的决定应该是，现在实际脱离德意志民主共和国的柏林西部应同它的东部合并，这样，柏林就会成为它所在国家范围内一个完整的城市。”美、英、法3国当即表态，坚决拒绝，双方答应谈判协商，但直到1960年也没有谈成。
东德战后经济一直不景气，苏联占领者为了早日获得战争赔偿，不顾东德的经济承受能力，把大批机器设备拆迁后运往苏联，生产出的东西更是如此。
到1950年，苏联人自己承认已从东德获得75亿美元的赔偿。所以，过量的负担，使东德的经济更加混乱，东德人看到西德人的生活日益优于自己，于是纷纷向西德移居。到1961年，逃往西德的人数激增，其中大部分是从东柏林逃往西柏林的，西柏林机场每天要收容1000多名东德的逃亡者，这些逃亡者中，有许多是技术人员。这给东德的经济带来更大的困难，并且日益威胁到它的安全。
赫鲁晓夫感到这种情况不能再持续下去了。而此时，时机对苏联也有利：
英国经济正处于焦头烂额的状态；法国则正陷于阿尔及利亚战争；美国策划的武装入侵古巴的事件以其失败而告终，肯尼迪新当选总统，忙于收拾烂摊子。
赫鲁晓夫见有机可乘，就决心在柏林问题上与肯尼迪较量一番。他想起40年代末的那场柏林危机，斯大林被迫作出让步，实际上苏联是棋输一着，现在他要把苏联的面子争回来。于是，他提出与肯尼迪在维也纳进行首脑会谈，企图逼迫面临重重困难的肯尼迪在德国问题上作出让步。但肯尼迪并不买账，双方在裁军以及其他问题上也各执己见，互不相让，最后不欢而散。
赫鲁晓夫从维也纳回来后，火冒三丈，便当即宣布苏军暂停复员，军费增加1/3。与此同时，他还大肆进行核讹诈，声称如果爆发核战争，将会有几亿人死亡，将使美国及其盟国的军事基地彻底毁灭，肯尼迪将是美国最后一任总统。
他对英国大使说：只要6颗氢弹就可以把英国消灭，9颗氢弹就足以灭亡法国。
他又对意大利说：战争将使意大利彻底完蛋，因此，意大利最好退出北约。
面对赫鲁晓夫的核讹诈，肯尼迪又岂是等闲之辈？他知道西柏林已成为考验西方勇气和意志的试金石，成为美苏争夺的焦点，如果美国在这种压力下撒手不管，哪怕是只有一点点的软弱，就会使西欧失去对它作为保护者的信任。
所以，他心一横，决意与赫鲁晓夫一争高低。他立即要求国会追加32.5亿美元的国防预算，增加三军兵员21.7万人，征召部分后备役人员和国民警卫队，购置新装备，并扩大民防计划。随后，他又发表电视讲话表示：决不允许苏联用武力把美国赶出柏林。
肯尼迪一声令下，大批美军奔赴欧洲，美军50％以上的B-52型、B-47型轰炸机和导弹进入戒备状态。
在苏联方面，也在加紧研究对策。1961年8月初，赫鲁晓夫把华沙条约组织各国的第一书记叫到莫斯科开会，之后发表声明：如果西方国家不愿意签订对德和约，华沙条约国决定单方面与德意志民主共和国缔结和约，并给予柏林以“自由城市”的地位。
赫鲁晓夫认为，西柏林是美国伸向欧洲的一只脚，苏联什么时候想踩美国人的脚，只要切断通过东德领土的西柏林的交通就行了。所以他决定踩踩美国人的脚，给美国人点颜色瞧瞧。他在与东德领导人昂纳克磋商后，于8月13日让东德政府命令上万名东德军队与苏联驻东德军队一起行动，一夜之间沿着东西柏林分界线，用石块和水泥筑起了一道“柏林墙”。这墙高4.2米，长达107公里，建设速度之快，令人乍舌，东德人再想逃往西德，那将是难上加难。东德还封锁了东西柏林边界，切断了东西柏林的人员往来。
西方三国对筑“柏林墙”提出抗议，作为报复，他们把苏联在西柏林的纪念馆用铁丝网封锁起来。肯尼迪更是态度强硬，他警告赫鲁晓夫说：为了维护西柏林的利益，美国将不惜一战，任何对西柏林交通线的干涉都构成侵略行动，苏联政府必须对此负全部责任。接着，他派副总统约翰逊前往西柏林，同时命令一支1500人的战斗部队，从西德乘装甲车沿高速公路冲过德意志民主共和国的检查站，开到了西柏林，美国还用卡车冲撞一部分“柏林墙”，以表示决不让步的决心。苏联也不示弱，指示苏联元帅科涅夫命令苏军重型坦克部队开上去，使美军的吉普车、坦克、卡车、兵员运输车和推土机处于苏军坦克的炮筒之下，双方紧张对峙一夜，大有美军再前进时就开炮之势。
虽然美国与苏联在“柏林墙”两边刀枪相见，但双方谁也没有定下决一雌雄的决心。特别是赫鲁晓夫，鉴于美国在核武器方面的优势和肯尼迪的强硬态度，首先软了下来。他指示科涅夫说：“我看你还是命令我们的坦克调头，从边界开回来为好。我敢肯定，在20分钟内，美国坦克也会开回去。”果然不出赫鲁晓夫所料，美国人也心里发虚，苏军撤走后，美军坦克也掉头而去，双方的直接冲突才得以避免。
1961年10月10日，赫鲁晓夫宣布取消了要美英法三国撤出柏林的期限，提出愿意推迟解决西柏林问题的时间。美国也感到“柏林墙”并未触及西柏林的安全，真要是打起来，恐怕得不偿失，所以，也就接受了既成的事实，第二次柏林危机遂告结束。
东西方两大军事集团的对峙，并未因第二次柏林危机而告终，而是愈演愈烈了。