联邦制的具体安排是议会委员会必须解决的重大问题。尽管“法兰克福文件”明确规定了未来的国家必须采取“联邦类型的政府形式”，但对于实行什么样的联邦制，它并没有作出具体的规定，给议会委员会留下了相当宽阔的活动余地。
德国各个政党对联邦制的不同构想以及西方盟国对联邦制的不同经验——当时美国的联邦制度已经建立了170年，单一制国家法国和英国则对此没有什么实践经验，导致各方对“法兰克福文件”的这份委托都以自已对联邦制的构想作出不同的解释（Lange，1973：25-27；Pfetsch，1990：159-161）。议会委员会内部对联邦和各州的职权划分并没有太大的意见分歧，而对第二院的类型及其构成和职权以及财政制度却产生了严重的分歧和激烈的冲突。
联邦上院模式与参议院模式
自英国立宪政体诞生以来，西方国家的第二院从理论上看主要履行以下三个方面的功能：（1）早期立宪制度起源于等级代表会议，第二院代表不同的阶级、职业群体或阶层。1945年后，德国只有巴伐利亚州建立了一个由“州社会、经济、文化和县镇实体”的代表组成的第二院（参议院）。它拥有立法创议权、评估法律提案的权利以及对州下院通过的法律提出异议的权利，但没有否决权。（2）第二院应在立法过程中起到“缓冲”作用。这实际上是保守主义的观点，其价值观以反对议会化和社会福利国家中个人和集体权利的扩大为取向。（3）第二院应该在总体国家中起到代表地域性实体的作用，这种思想来自美国的宪政体制——在美国参议院中，所有州都拥有两个席位，得到平等的代表。
议会委员会中的各个政党对于怎样建立一个各州参与联邦政治的第二院存在不同的看法。这种分歧最终演变为两种模式之争——保守主义政党支持的联邦上院模式和主要受社会民主党拥护的参议院模式。
联邦上院这一机构是德国第一个联邦制宪法——1871年《帝国宪法》——的重要特征。其前身是神圣罗马帝国永久帝国国会，它从1663年起就作为帝国等级指派的全权大使举行的会议而存在。
1866年瓦解的德意志联邦，其最高决议机关——常务联邦大会全体会议也被组织成德意志诸侯和自由城市议会的使节大会。如同今天的联邦上院的组成一样，成员国的席位也是按照各邦居民人数划分的。
1871年帝国的联邦上院（联邦议院）是独立于帝国国会并与之相对的联邦机关。它由当时各邦政府的代表组成。帝国国会和联邦议院在立法过程中权力完全平等。这种设计使得上下两院对对方的决议都拥有绝对的否决权，因此可以被称为一种“经典的两院制”——帝国国会为第一院，联邦上院为第二院。
从宪法看，当时的联邦议院是国家主权的承担者，因为帝国是各州诸侯的集合。但在宪法的实际运作中，联邦制国家的重心越来越向中央国家机构推移，原因一方面在于联邦上院本身在结构上存在缺陷，另一方面是由于俾斯麦本来把它设计为与帝国国会对抗的工具。
尽管1871年帝国的联邦议院在历史上名声并不好，但第二次世界大战宣称自己是联邦主义者的政治家们却强烈支持联邦上院的模式。他们以各州是“自主国家”的观点来为这一模式辩护。由于受到较强的反对，他们退而求其次，要求至少必须赋予各州与联邦对等的主权，坚持建立由各州政府的成员组成的“真正的联邦上院”。按照他们的构想，联邦上院的权利应与联邦下院平等。在立法过程中，一切法案都必须在上下两院一致同意的情况下才能通过，联邦上院能够对下院通过的一切法案行使绝对的否决权。因此，任何法律都可能因州政府多数意志的反对而无法通过——这样的联邦上院才是真正的“第二院”。
联邦上院模式的反对者认为，联邦上院的成员缺乏民主合法性，他们建议用参议院来代替它。尽管参议院在德国历史上没有先例，但1849年在法兰克福圣保罗教堂制定的《宪法草案》所提出的“联邦院”，至少已经提出了一种可供参考的范例。
参院制与上院制的主要区别在于其成员产生的方式。参议院成员不是各州政府的官员，通常也不是各州议会的议院。相反，他们或者通过议会选举产生，或者通过州一级的普选产生。在关于《赫伦基姆湖宪法草案》的报道中，参议院模式的支持者一针见血地指出了参院模式与上院模式的这种区别：联邦上院是“部分的代表与整体相对……而参议院则是由部分构成的整体的代表，也就是州这一级人民的代表，是‘州’这种成分的代表，而不是作为整体的相对者的单个州的代表”。（Der Parlamentarische Rat，Bd。2：543）由于参议员产生的形式比上院制更具民主合法性，其支持者认为这种方案更适合于自由民主制。
而在参院模式的反对者看来，这种方案存在严重的缺陷。他们认为，如果参议员通过间接选举产生，在现代政党政治条件下必将导致参议院复制州议会政党的比例；如果通过直接选举产生，参议院在政党构成上的比例又会与众议院重叠。而且，经由普选产生的参议员不可避免会受到政党政治的影响，必将与他们在众议院议会党团的政党或政党联盟紧密合作来作出决定。这样，参议院与众议院在政党政治上就“划一”了。因此，他们强调建立一个“真正的联邦上院”的必要性，由于其独特的组成方式，它会起到制约联邦政府和普选产生的联邦众议院的作用。
正如德国学者梅尔克尔指出，联邦上院模式和参议院模式之争实际上反映了关于联邦制的制度安排和运行的两种原则上不同的观点（Merkl，1965）。美国的联邦制以拥有自己的立法、行政、司法和税收权力的完整和相互独立的联邦和州的两级政府为基础，而德国联邦制的传统只有一种分权的功能——“政府功能的分立一直为德国联邦制所特有，在这种分立中，立法权的重心集中于联邦权力机关，而州承担了极大部分的行政责任。由于这种相互依赖性——在各州执行大部分联邦法律方面，这样一种‘分散的行政’需要一种机构，通过它，州自己的行政经验能够传达给联邦立法机构。对于实现这一目的，联邦上院是非常适合的工具。”（Merkl，1965：79-80）
表面上看，联邦上院和参议院的模式不过是州作为成员国参与联邦立法的不同选项。如果进一步分析议会委员会的争论，人们就会发现，这个问题是涉及整个国家的权力在未来的政府体制内如何在不同的国家机构以及政治力量之间进行划分，以及这些机构怎样获得合法性的重大政治问题——是不是因为联邦众议院是总体国家的议会，各政党党团代表人民的意志，人们就应该使政党成为国家权力的主要承担者？议会党团及其身后的政党组织是否应该受到仅受有限的政党政治因素影响的权力纠正机构的制约？
一些政党对参议院方案的保留态度也不能仅仅用它们对联邦制的不同看法来解释。相反，它们表达了对议会制的不同理解。德意志党、自民党和基督教民主联盟的一部分党员对议会一直保持距离并持怀疑态度（Kilper/Lhotta，1996：59）。社会民主党倾向于多数决民主制的英国模式，认为直接选举产生的议会（众议院）代表了人民主权，其职权只应该受到第二院的有限制约。因此并不奇怪，议会委员会的多数成员对未来联邦众议院中政党政治成分的过重存有疑虑，坚决拒绝再建立一个结构与之相似的第二院。
社会民主党明确支持参议院模式，基社盟明确支持联邦上院模式，而基民盟内部意见并不统一，两个方案都有支持者。为打破僵局，康拉德·阿登纳提出三院模式，除了联邦上院，再建立一个参议院，作为解决方案。
同时，在中央国家一级建立的这一联邦机关，其权力是否应与联邦众议院平等，这一问题同样在议会委员会中分歧重重。议会委员会的联盟党党团最终没有实现建立与众议院完全平等的“真正的”第二院的要求，但给它争取到否决联邦有关各州行政和财政的法案的权利。不过，通过这种方式实现的联邦上院与下院的部分平等与人们最终选择联邦上院并没有必然联系。在参议院模式中，两院的地位也几乎完全平等。对参议员强烈的合法性甚至直接的民主合法性的要求中，也会产生出对参议院与众议院权力平等的要求。因此，参议院模式同样可能导致上下两院在立法程序中的完全平等。
在参议院及其职权的这种联系中，人们可以看出社会民主党突然从参议院模式转向联邦上院模式的真正原因。当时，基民盟和自民党已经就建立一个由选举产生的参议员和政府代表组成的“准参议院”达成一致。社会民主党转而支持建立联邦上院，以此为条件阻止了联邦院与众议院的同等权力，建立一个真正的第二院。这种所谓的“弱化的联邦上院方案”最终由当时并不是议会委员会成员的巴伐利亚州总理汉斯·艾哈德（基社盟）和北莱茵-威斯特法伦州内务部长、时任议会委员会副主席的瓦尔特·门采尔（社会民主党）谈判达成。
剩下的问题是代表人数的问题，也就是各州在联邦上院中拥有同等的席位还是按照其人口基数派遣代表这一对于联邦制同样具有重要意义的问题。社会民主党支持联邦制的平等地位原则（也就是所谓算数原则），主张各州在上院中的席位均等。这样，所有加入联邦的国家不论其大小都得到平等的代表。而基民盟和基社盟支持按照人口基数分配席位（也就是所谓的几何原则），理由是按照居民人数分配议席、对较大的州给予有条件的重视更突出了民主的成分。最终，议会委员会在自民党提出的建议的基础上达成妥协，尽管按照居民人数划分议席，但也考虑到对小州的照顾。
这样，几经波折之后，议会委员会采纳了联邦上院的方案，回归了德国联邦制的传统。
财政立法和管理权限的划分
议会委员会关于财政制度问题的争论更为激烈。社会民主党政治家瓦尔特·门采尔一语道破了问题的实质——“谁掌握钱，谁就掌握权力”。财政权力，也就是财政立法权、管理权以及税收收入在联邦与州之间的分配，对于未来联邦制权力分散的程度具有决定性的影响，正因如此，各个政党之间、州政府与军事占领区首脑之间对这一问题所产生的争执，在整个制宪讨论的时期此起彼伏。
议会委员会代表之间的分歧主要集中在三个问题上：现代经济对法律和经济统一的要求；社会福利国家对于实现“所有人生活条件的统一”的要求；州财政主权的要求。
总的看来，议会委员会在这些问题上都存在一种突出的中央集权和一统的倾向，在西方盟国的多次干涉下，最终不得不在1949年作出妥协。
社会民主党、自民党/民主人民党、英占区的部分基民盟以及共产党的代表支持建立联邦统一的财政管理，而南部的基民盟、基社盟和德意志党支持建立以州为主导的财政管理机关。建立联邦统一的财政管理的主要论据是：一方面，德国联邦制国家的税收收入问题直到1919年魏玛共和国埃茨贝格尔财政改革之后才在两级政府之间得到有效的解决。而此前，税源被僵硬地分为帝国税和州税，使帝国在财政上依赖于成员国的人头费（见上一章）。历史经验表明了统一管理的必要性。另一方面，联邦统一的财政管理符合现代经济的需要。议会委员会的一个跨党团委员会提出如下几个论据：（1）在一个统一的经济区内，所有间接税的统一立法是必要的，因为这些税是经济上的生产成本，不同的规定会损害统一的经济竞争条件。（2）如果人们把这些间接税的立法托付给州，其管理同样也会落到州，这些税的收入将如同它们在生产场所和在大型经济和贸易中心产生一样，按照它们的所在地归州所得，尽管这些税来自最后的消费者，由所有消费者在其经常居住的地方负担。（3）对于财产税、遗产税和赠与税，统一的立法也是必要的，因为不同的立法会引起经济活动耗资巨大的区位变动，因为州立法仅能针对位于某一个州的财产物，因此会使技术上难以实行的财产物的分割成为必要。基民盟、基社盟、社会民主党和自民党/民主人民党最终就联邦统一的财政管理方案达成一致，而代价是基民盟和自民党放弃建立一个与下院平权的强大的联邦上院。不过，在西方盟国的干涉下，这种“妥协”没有真正写入《基本法》。早在1948年11月，盟国已经对议会委员会的联邦统一财政管理方案提出异议。1949年3月2日，它们在盟军备忘录中发出最后通牒，要求财政权力分散化，将啤酒税、载重车税、博彩税、财产税、遗产税和土地税交给州。在占领当局的压力下，议会委员会经过内部的激烈讨论后，基民盟、基社盟、德意志党、自民党和社会民主党先后放弃了以前的主张，就在保证联邦与州“财政自主和适当财力”的前提下建立分立的财政制度达成一致。1949年4月8日，美国、英国和法国三国外长在华盛顿举行的会议批准了这一方案。
60年后重新来考察这段历史，人们不难发现议会委员会各党派关于联邦制问题的斗争和妥协对于德国联邦制后来的发展所具有的重大意义。事实上，1949年后日益成为人们思考的改革对象的联邦制，其实际上或潜在的不足之处（如联邦上院以及与之相联系的“行政联邦制”、各州的重新划界以及财政制度），在《基本法》通过前已经是各党派争论的焦点。因此，德国政治学家阿布罗梅特在研究德国联邦制时感慨道，德国联邦制的现实热点问题的根源都在于战后年间关于其制度结构的决定（Abromeit，1992）。