玉皇庙创建年代不详，据庙内现存明代碑刻记载：“隋时居民聚之北阜，建庙宇三楹，内绘三清神像”。北宋熙宁九年(1076年)在原址上重建，题名“玉皇行宫”。金泰和七年(1207年)庙宇多数坍塌，当地民众曾集资修复，金贞祐年间(1214—1216年)部分毁于兵火。元至元元年(1335年)又重建，明清两代屡次修葺，始成今日规模。现存主要建筑玉皇殿建于宋，汤帝殿建于金，后院左右垛殿和东西配庑为元建，余皆明清所筑。
庙坐北朝南，建筑布局为三进院落，共有殿宇楼阁、亭榭厢房一百余间，占地面积4000余平方米。中轴线上由南向北依次排列有头道山门、仪门、成汤殿、献亭、玉皇殿、东西配殿;两庑二十八宿殿、十二辰殿、十三曜星殿、关帝殿、蚕神殿及厢房、钟鼓二楼。建筑鳞次栉比，错落有致。
前院是玉皇庙内第一进院落，中有门庑二重，第一重山门明成化年间(1465——1487年)建，第二重仪门元代遗构。门两侧有文昌殿、咽喉祠、六瘟殿、地藏殿、钟鼓楼等。中院主殿成汤殿，面阔三间，进深三间，单檐悬山顶。建筑特征为宋金时期。后院正殿为昊天玉帝殿，建于宋熙宁九年(107年)，面阔进深各三间，平面方形，单檐悬山顶。无论是建筑，还是彩塑及神台上的浮雕砖饰，都保留了北宋风格。
各殿内保存有宋、元、明三代塑像300余尊，其中元塑二十八宿星君像为全庙之冠。
庙外碑廊内宋、金、元、明、清各代碑刻十余通，是研究道教史及道教艺术的珍贵史料。