就在美国独立战争就要结束时，应形势所需，美国成立了联邦政府，联邦政府取代了大陆会议行使权力。但联邦政府的权力有限，各州仍保留着自己的“主权、自由和独立”。因此，在解决战后初期国内的各种经济困难和政治动荡时，联邦政府也无所作为。于是，建立一个更强有力、更加集权的政府的要求提出来了。这就需要一个适应新形势的宪法。
1787年3月28日，富兰克林当选制宪会议的代表。5月14日，制宪会议在费城召开，在三四个月的会期中，富兰克林每天11点到会。
富兰克林在制宪会议中的作用主要是和解，不是引导代表们走向哪一特定的方向，而是设法使代表们保持一致。他自己最喜爱的政治理想--院制议会、复式行政机构、公务员无薪制--没有一项被会议采纳。每当有他发言时，他总预先把发言内容写在纸上，请人替他念，因为他不能长时间地站着。
6月2日，他动议行政官员无薪，得到亚历山大·汉密尔顿的附议，但没有被采纳。麦迪逊回忆道：“它受到十分尊重的对待，但与其说是由于相信它的有用性和可行性，还不如说是由于动议的提出者。”可见人们对富兰克林的尊重。
在制宪会议的开头两个星期中，较大的州在有些小州的支持下，在国家议会的两院中均以人口决定代表席位的提案得以通过。多数小州则马上表示不满，坚持他们在邦联制下所享有的同等权力。双方争执不下，会议气氛紧张。
6月28日，富兰克林动议在开会前先向上帝祈祷。代表们虽没有所行动，但这一提议本身和富兰克林的虔诚祈求上帝帮助的发言，却起到了缓和会场气氛的效果。
到决议那一天，一些小州的代表已在扬言，如果没有平等代表席位，就散会。但在富兰克林的协调下，人们的头脑冷静下来，会议开始了。
美国宪法制定两天后，富兰克林再次呼吁持不同意见的双方，各自做些让步以达到立场的接近。
7月2日，富兰克林被选入一个大委员会。在这个委员会中，一州只有一名代表，任务是在大、小州的议员议席问题上寻找出妥协的办法。
在大委员会会议上，富兰克林先倡行在两院都实行比例代表制，讨论的结果是较小的州不同意。最后，在富兰克林动议的基础上，委员会达成了妥协。7月5日委员会向制宪会议报告了这一妥协方案。
这一妥协方案在制宪会议上以5（康涅狄格、新泽西、特拉华、弗吉尼亚和北卡罗来纳）比4（宾夕法尼亚、马里兰、南卡罗来纳和佐治亚）被采纳。马萨诸塞州代表分为几派，无法参加表决。
这是惯于寻求妥协方案的富兰克林平生所作的最重大的协调之一，它直接关系到美国宪法能否在它最被需要的时期问世。
7月13日，一名来费城访问的马萨诸塞州生物学家马纳塞·卡特勒被人引见去拜望富兰克林。那是一天下午，富兰克林在他自己的家里接见了来访者。按卡特勒自己的话说：“富兰克林从椅子上站了起来，握住我的手，表示见到我很高兴，并请我在他身边坐下。他的嗓音低沉，但他的表情开朗、坦率，令人愉快。”他读了来人的介绍信，又握了卡特勒的手，并把他介绍给在场的人。
在场的男士都是制宪会议的代表。在富兰克林的花园里，大家坐着谈话，天黑了下来，就人们把茶端到树下来继续交谈。在卡特勒看来，那些代表们都很喜欢富兰克林。
再晚些时，富兰克林把人们领进了他的书房，卡特勒认为那是“美国最大、也是最好的私人图书馆”。卡特勒还参观了他的一些“古董”：一架玻璃机器，展示着人体内动脉和静脉中的血液循环；富兰克林发明的用来复写信件的滚筒印刷机；还有长长的人工胳臂和手，它们可以从高高的书架上取书或放书；他的巨大的有扶臂的摇椅，一把大扇子在它的上方，那是他用来扇凉、赶苍蝇的。在他的壁炉架上，有一大堆的奖章、胸像和一些蜡像、石膏像。
制宪会议开了两个多月时，有人认为行政被列为第二位是贬低了它。发言不多的富兰克林在7月26日指出，“这样的观点和共和的原则背道而驰。在自由的政府里，治理者是仆人，人民居于其上，是主人”。
富兰克林就外国人任公职问题发表了看法。他认为外国人在美国任公职不应需要居住14年之久，不应像制宪会议上提出来的那样。因为一些外国人在美国曾服务得很出色，而一些土著人却加入了反对祖国的行列。
9月17日，星期一，是最后签署宪法的日子。
次日上午11点，宾州代表出现在州议会会场上，富兰克林向议长发布了联邦宪法签署的消息。
富兰克林终于有信心将美国的这部宪法比喻为东升的旭日了，他参与了将这轮红日托出海面。这是他的老迈之躯为他所热爱的祖国作出的最后一大贡献。
9月21日，宾州立法会议开会。12月12日，批准了宪法。13日，这一批文正式在法院公布，宾州政府的所有官员举行了简单的别出心裁的庆祝典礼，那就是全部列队从州政厅出来，然后再走回去。