1947年1月，肯尼迪到华盛顿特区上任，正式开始了他近6年的众议员生涯。在众议员任期内，肯尼迪并没有太多故事可言，唯一值得一提的是，在此期间肯尼迪经常和党组织保持距离，他也因此被称为“常规习俗的破坏者”。
1952年共和党的艾森豪威尔以压倒性优势赢得了大选，但共和党却在全国范围内出现衰竭。在这种情况下，肯尼迪击败共和党对手，进入了美国参议院。
在任参议员期间，肯尼迪遇到了两个麻烦。一个是身体方面的，从1953年7月开始，肯尼迪背部的疾病开始变得严重起来，次年4月进行的一次检测显示，他的第五节腰椎已经断裂。
当年10月，肯尼迪接受了一个长达3个多小时的手术。医生将一个金属盘插进了肯尼迪的腰椎里，以帮助他固定脊椎骨。然而，由于插入的金属盘被感染，几个月后金属盘被再次取了出来。
在手术的这段时间及其后的两年左右时间里，肯尼迪数次面临生命危险，并曾先后四次接受了天主教的临终祷告。
身体康复之后，肯尼迪发表了一本名为《英雄传略》的书，书中讲述了美国历史上8位著名参议员的职业生涯。该书出版后十分畅销，它还获得了美国新闻出版界的一项最高荣誉奖——普利策传记文学奖。
担任参议员时肯尼迪的另一个麻烦是如何处理与麦卡锡的关系。麦卡锡利用人们对共产主义的恐慌，到处指控别人为共产主义而迅速扬名。但随着“麦卡锡主义”打击的人越来越多，很多人开始痛恨起麦卡锡来。
对于这样一个政治投机分子，肯尼迪本应该和麦卡锡划清界限的，但肯尼迪却不能这么做。这是因为肯尼迪的弟弟曾经在麦卡锡手下做事，麦卡锡也是肯尼迪家的朋友。更为重要的是，麦卡锡在肯尼迪所在的马萨诸塞州依然拥有一定的支持者。如果公开反对麦卡锡，无疑会得罪自己的选民。
虽然从感情上来说，肯尼迪本人也很讨厌麦卡锡，但因为有了以上的顾虑，所以在处理麦卡锡问题上，肯尼迪变得非常难为情。
艾森豪威尔上台后，国会举行听证会来讨论麦卡锡的问题。但这个时候，疾病帮了肯尼迪一个大忙，因为他要在医院做手术，所以他就不需要参加对麦卡锡问题的国会投票了。
1960年大选时，肯尼迪轻松地赢得了民主党总统提名。值得一提的是，肯尼迪挑选了约翰逊作为了自己的竞选伙伴。这让大家感到非常奇怪，因为肯尼迪并不喜欢约翰逊。至于肯尼迪这样做的原因，有人认为肯尼迪想借此把约翰逊排挤出参议院，也有人认为肯尼迪是想借此拉拢德克萨斯州的选票，因为约翰逊在该州的影响很大。
1960年的大选注定了将是一场强强对决，因为肯尼迪面对的对手是后来也成为著名总统的尼克松。在此之前，尼克松曾经在艾森豪威尔执政时期做了8年的副总统。这段经历让尼克松有了一个明显的优势，那就是他有了从政经验，而肯尼迪却没有。
肯尼迪还有一个难以逾越的障碍，那就是他是一个天主教徒，此前的1928年大选时，史密斯就是因为是天主教徒而败给了胡佛。这一次，肯尼迪能够改变这个命运吗？
对于同样一个麻烦，不同的人会采取不同的应对措施，这种不同也反应出了个人水平的高低。面对政敌对自己宗教问题的攻击，肯尼迪智慧地给自己做了辩解：“美国是一个宗教和政治分离的国家，所以即使一个天主教徒成为总统，也不会有出现人们担心的天主教干涉政治问题。”
取消人们的担心之后，肯尼迪又提出：“如果一个人因为宗教问题而不能当选总统，那就意味着美国将有4000万人从接受洗礼的那个时候起，失去了当选总统的资格。这样一来，在天主教徒眼里，美国政府将失去它的权威，那么我们的国家将是一个失败者。”
肯尼迪不仅辩论的有道理，在思想上，他也并不是完全接受天主教教义，他拒绝把与梵蒂冈的关系上升为大使级水平。经过努力，在别人看来是肯尼迪无法逾越的宗教问题，实际上对肯尼迪的影响非常有限。