古罗马晚期，基督教公开了，基督徒开始建造教堂。从宗教的意义上说，耶稣强调了把建筑物建在岩石上的重要性。他说他的教堂也要建在磐石上，“阴间的权柄，不能胜过它”（《马太福音》）。由于“城造在山上，是不能隐藏的”（《马太福音》），因此造在岩石上的教堂可能也被看成就是造在山上。后来奥古斯丁在停在阿勒山的诺亚方舟里看见了一个《旧约》型的教堂。而从礼仪的意义上说，唐·昂热列可·舒尔乡说道，实际上“教堂”一词既指信徒的总体又指信徒们成群祈祷的场所。教堂是全体信徒构成的巨大精神实体的物质体现。一首祭礼的献礼诗解释得非常明白：基督在此被比做石头，石头被大铁锤敲成一块块，又堆集在一起，被神工之手放在早就准备好的确切位置上，以便永远统一在神圣的华宅即精神教堂之中。热尔曼·巴赞也说道，教堂（ecclesia）意即聚会，是全体信徒的集会场所，他们一视同仁地被招来共享神恩。因此教堂必须具有宽大的空间。基督徒在古代民族的建筑创造之宝库中找到了现成的形式——长方形堂，一种有一个中殿和侧廊的长方形建筑，用作集会场所、法庭或室内市场。他们只给这一形式加上一条交叉甬道或一个横向的中殿，呈十字形。半圆形后殿——内有一条长凳（prebyterium）——为教士专用。祭坛设于交叉甬道的交叉点，礼拜仪式在中殿内举行，信徒们站立着，男的在左，女的在右，排在单侧廊或有时双侧廊中，时而留下一条空道。教堂由新教徒会合的门廊和围以四柱的中庭（门口）进入，后者是中世纪修道院回廊的起源。中庭中央立着环形柄高脚杯——行沐浴仪式的喷泉水，那是圣水钵的由来。教堂的产生满足了教徒们的精神性和礼仪性的需要。
基督教的教堂是依照巴西利卡的样子来建造的，或者说，巴西利卡是欧洲中世纪教堂的原型。巴西利卡的特征，平面是长方形，通过纵向的几排柱子把室内分为几条长狭的空间，中间一条较宽且高，两侧的较窄且低。这种形式结构简单，屋盖轻，支柱较细，多用木屋架构成，体量也不很大，在当时的教堂建筑中深受僧侣们喜爱，因此在古罗马帝国分为东西罗马以后，都将此奉为教堂的流行形式。作为一种宗教崇拜形式的教堂，一旦形成一种形制，它就有可能变成一种普遍仿效的对象。
在欧洲的一些教堂建筑中推行并发展的是另一种形制，被人称之为罗马式建筑（Romanesque，亦译为“罗马风建筑”）。在5～10世纪间，建筑活动并不发达，宗教建筑是从修道院逐渐发展起来的，继承了古罗马末期的早期基督教教堂的形制——拉丁十字式巴西利卡。罗马式建筑以水平线和圆为主，宽阔平稳，墙壁占面积大，其装饰雕刻和绘画，更倾向于程式化和几何图案。罗马式建筑主要分布在伊比利亚半岛中部、爱尔兰和苏格兰以及斯堪的纳维亚半岛中部；中欧的东部，包括斯拉夫西部，即从波兰起穿过波希米亚和摩拉维亚到斯洛伐克；匈牙利的西部和斯洛文尼亚，及南欧的意大利半岛等地区。例如，意大利的比萨斜塔与比萨主教堂。
比萨斜塔与比萨主教堂是意大利中世纪最重要的建筑群之一。1063年比萨人打败撒拉逊人，在海战中攻占巴勒摩，为纪念这次使得比萨成为地中海西部主要强国的胜利，建造了主教堂。主教堂采用拉丁十字式的形制，八边形的穹顶覆盖着整个十字区，有五个正厅，三座后殿。钟塔建于1174年。钟塔位于主教堂圣坛的东南面，呈圆形，高55米，共8层。中间6层为空券廊，底层只在墙上作连续券浮雕，顶上一层收缩，向内缩进。富有意味的是，在建塔时，由于地基不均而沉降，塔身向南倾斜，使其成为著名的斜塔。德国建筑史家汉斯·埃里希·库巴赫说，比萨大教堂应列为欧洲最伟大非凡的建筑之一，它那五彩斑斓的大理石所折射的辉煌，大教堂、钟楼、浸礼堂、坎波萨诺教堂以及大片的草地，都给如织的游人留下了难以磨灭的印象。比萨在建筑艺术的领导地位后来让位给了佛罗伦萨。
教堂的建筑在中世纪的城市里具有特别的意味。舒尔乡说，教堂“建筑全都传统性地朝向东方，换而言之即教堂后的园堂朝向东方——朝向太阳跃出的地方，太阳每天早晨在东方诞生（升起），而教堂建筑的正面朝着西方，西方——是太阳每个晚上沉睡，或云太阳似乎是死去（落下）的地方。这种朝向反映了基督徒对于以光线每天的消失和复出为象征的复活的信仰。很显然，这并不涉及太阳崇拜，而是通过太阳的形象来表现对造物主的崇拜。当人们在一个较为重要的城市里登上教堂里的钟楼之巅时，人们会被城市中所有其他神殿的朝向上的一致性所打动。它们仿佛要给私人居所那纷繁的屋顶一个航向，而这些屋顶显得极其混乱。人们由此明白了宗教建筑物在城市总体建筑中的重要性”。确实，就像舒尔乡所说的那样，在城市的嘈杂声中，清脆而嘹亮的教堂的钟声响了，它们成为一种秩序、一种方向，就像是牧羊人在召唤着他们的羊群。