雁门关关城又名西陉关，是明代长城的重要关隘之一。与宁武关、偏头关合称内三关。据清乾隆《宁武府志》载，旧关在雁门山上，明洪武七年(1374年)移至今址。明万历二十五年(1579年)、清同治六年(1867年)重修，现存雁门关为明代所筑。
雁门关关城，周长1公里余，由关城、瓮城、围城三大部分组成。墙高10米，石座砖身，内为夯土，开门三重，即东门、西门、小北门。东门即天险门，石座砖券，额匾书刻“天险”二字，门上有楼，为雁楼。面阔五间，进深四间，重檐歇山顶。墙垣设垛口，门洞内原有板门一道，青石板铺路。雁门楼是驻守官兵巡察、了望、休息的场所。
西门即地利门，石座砖身，额匾书刻“地利”二字，门楼为杨六郎祠，已毁。小北门即瓮城城门，石券门顶，门额书刻“雁门关”三字，门两侧砖嵌“三边冲要无双地、九塞尊崇第一关”对联一副。
围城随山势而建，城周长约10余里，墙为石砌。围城南端分接关城东西两翼，围城城墙沿东西山脊向北延伸至谷底合围，合围处建有围城城门，门上有楼曰宁边楼，已毁。围城门外接石拱关桥连通关道，关外依次设大石墙3道，小石墙25道。石墙为围城屏障。
天险门外建有靖边祠，祀战国名将李牧。山门前石砌平台上配设石旗杆、石狮各一对，正中左右各有踏朵台阶，皆配有石雕石栏板。山门左右配建的钟楼、鼓楼、前院两侧的厢房、过殿、后院的大雄宝殿已毁。1997年重建大雄宝殿，祠内存有清代碑刻15通，其中李牧碑1通。
白草口长城，又名猴岭长城，为明代建筑，全长5033米，高6至8米，底宽5米，顶宽3米，每120米建戌城一座，并置烽火台、敌楼，隘处置堡寨、凿壕堑、设暗门。白草口长城东西延伸与外长城相连。
此外，雁门关还有铁裹门、关陵、关署、东城兵盘、西城兵盘、点将台、兵洞、石头长城、六郎城、烽火台、新广武、广武古城等60余处遗址遗物。