乌衣巷位于夫子庙南，三国时是吴国戍守石头城的部队营房所在地。当时军士都穿着黑色制服，故以“乌衣”为巷名。东晋初大臣王导住在这里，后来便成为王、谢等豪门大族的住宅区。到了中唐，诗人刘禹锡以有“旧时王谢堂前燕，飞入寻常百姓家”的感叹，足见王谢旧居早已荡然无存。南宋时期，建康城曾一度得到恢复和发展，“商品繁盛，民殷物阜”。人们又在倾圮的王、谢故居上重建“来燕堂”。其址在乌衣巷东，建筑古朴典雅，堂内悬挂王导、谢安画像。士子游人不断，成为瞻仰东晋名相、抒发思古幽情的胜地。只是小街两侧的铺面房都开成了民间工艺品店，中外游人在此可以观赏和购买到各类工艺品。1997年，秦淮区人民政府恢复了乌衣巷并重建了具有民族风格的王谢故居。
乌衣巷历史悠久。据志书记载，其名源于三国时期。赤壁之战，孙权刘备结盟大破曹军，奠定了三分天下的局面。当时在公元220年，曹丕称帝，国号“魏”，公元221年，刘备称帝，国号“汉”，通称蜀或蜀汉，公元229年，孙权称帝，国号“吴”，史称东吴，当年秋七月，孙权将都城由武昌迁南京，取“建功立业”之意，将秣陵改为建业。孙权是史上第一个建都南京的皇帝。当时，孙权的兵士们都是穿黑衣，驻军之地就称为乌衣营。
公元280年，晋军攻占建业，孙皓投降，吴亡，改建业为建邺（今南京市有一个区就叫建邺区）。
公元290年，晋武帝死，皇上和诸王争夺权力，互相残杀，酿成八王之乱。公元307年，晋怀帝司马炽任命琅邪王“司马睿”为安东将军，管理扬州、江南等地，公元317年，当时的皇帝司马邺被俘，西晋灭亡。次年，司马睿被推戴为皇帝，定都建康（今南京）。司马睿之所以能立足于建业，顺立重组政权，使晋王朝得以再延，系得力于王导的谋划和周旋，以王导为代表的王氏家族和以谢安为代表的谢氏家庭都居住在孙吴乌衣营旧址，此时的乌衣营已改称为“乌衣巷”。
王导，辅佐创立了有百年历史的东晋王朝；谢安指挥淝水之战，以少胜多，打败符秦百万大军。作为一代名相，王、谢足以令后人追怀。而更令人惊奇的是，王、谢家族人才辈出。王羲之与另外两位大书法家王献之、王洵，书法成就登峰造极，谢灵运是中国山水诗派的鼻祖，他与谢氏后裔的大诗人谢惠连、谢朓，在文学史上并称“三谢”。