坐落在益阳古城学门口的文昌阁，一说是唐朝贞观年间所建，而据可靠史料记载始建于宋代。它初为学宫，后改称圣庙，俗称文庙。
说到修建的原因，一是宋神宗熙宁年间章惇开梅山，设益阳境内新、安二化两县，有施恩王法、修明教化和筑土立木加以纪念之意。二是宋代两湖分家，地势低洼的湖南，长期饱受长江洄水引发的洪涝水患和血吸虫肆虐成灾的贻害，致使民怨沸腾，地方与朝廷利益冲突加大；为了稳定洞庭湖周边政局，平息民怨，淳朴风俗，朝廷在洞庭湖周边广修书院庙堂等教化设施，以安抚一方百姓。除了岳阳修文庙（岳州学宫）、澧州建孔庙外，益阳古城学门口也修起了这座名叫圣庙的学宫。当年范仲淹在《岳阳楼记》中“先天下之忧而忧，后天下之乐而乐”的呼吁与劝导，其中包含的舍小家、保大家的道德情怀，与圣庙的修建似乎是殊途同归。
几乎与北宋创办且早已湮灭的松风书院同期，学门口的圣庙能够经千年风雨在今天还有部分残存下来，离不开历代的重建和修葺。据民国《益阳县志》记载：“儒学始建于宋，历宋元，在县西门外，前临资江，后距鲁肃旧城，东距旧城濠，西至招仙观（胡文忠公祠）。元末毁于兵，明洪武十三年（1380）知县田俊重建，十七年（1384）知县杨哲重修，始备其制。宣德四年（1429），教谕仰高倡捐重修焉。”元朝末年，圣庙毁于战火。明代初年，伴随着大批江西吉安一带民户落业益阳，其厚重鼎盛的耕读文化背景也一并带来，促成了洪武年间圣庙的重修。隆庆四年（1570），随着宋明理学受到进一步推崇，圣庙更新了旧制，扩大了规模。中为大成殿，左右为两庑。前为戟门，门东为名宦乡贤祠。其东南隅为古贤祠，左为泮池，右为棂星门。殿后为明伦堂，堂东为训导廨，堂西为启圣祠，后为敬一亭，最后为教谕廨。堂的东西为进德、修业两斋。西斋之后亦为教谕廨。自堂折东而为门，又折南而为儒学门。门内之东，为文昌祠。
大成殿系砖木结构，为孔庙主体，由石基、屋架和屋顶组成。屋顶为传统庑殿造型，加覆橘黄色琉璃瓦。飞檐斗拱，极具气势。殿内塑有孔子座像，高约一丈。其后高悬一大匾，横书“万世师表”四个大字。孔子头戴冕旒，双手执圭。神后牌上书“至圣先师孔子之位”，中有供桌。其两侧有四配，分成至、圣、哲、贤、儒五等。东复圣颜渊、述圣子思；西宗圣曾参、亚圣孟轲。大成殿东西两端供有十二神位，两庑供奉先贤和先儒，各朝均不一。
清朝顺治十八年（1661），被明末战火摧毁的圣庙在原址加以重建。建筑分前、中、后三进，主厅为木石结构的二层楼房，庙宇宏伟，雕梁画栋，颇具宫殿特色。康熙二十年（1681），增建了高三层的文昌阁。咸丰年间，知县林廷式重修文昌阁。光绪三十三年（1907），大成殿诏升为大祀，改祠为阁，正式得到慈禧太后册封，庙制亦有增饰。正殿供先师牌位，四配、十二哲分列左右。殿高六丈有余，深不止三丈，阔五丈有奇，中悬清圣祖等御书题额。殿前有古柏二棵，高约二丈，极遒劲苍老，生趣盎然。泮池左有柏一棵，亦葱茏有致。民国以后，祀典无常，军队驻扎，拆门棂以为薪，夷泮池以为厕，庙宇遭到极大破坏。1923年，地方集资重修文昌阁，阁分三层，高数丈，为城区制高点。大门前置汉白玉狮子一对，高约1米，状貌勇猛，栩栩如生。经过多次重修和改扩建，这座木石结构的崇祀性人文建筑已经演变成益阳古城的建筑地标。
1925年，益阳爆发如火如荼的农民运动。从砸碎旧意识形态开始，大批寺庙被毁，《益阳县志》估计约占总数的85%。文昌阁作为类似于寺庙的祭祀性建筑虽然苟延残喘，但其发挥的功能却备受质疑。果然，为了适应时代需要，到1929年，县政府将文昌阁改设为教育机构，其后厢附设民众图书馆。抗日战争时期，当局将中后两大殿改成忠烈祠，神龛横匾上挥写“浩气长存”四个大字。正中设有抗日将士阵亡纪念碑，两壁挂有捐躯将士遗像，刻有牺牲将士具体数目和名字。其中包括萧山令在内的将军级军官3名、校级军官38名、士兵多人、益阳战亡团员8名，还有盟军飞行员美国人罗伯尔的名字也赫然在目。1944年，一度外迁的民众图书馆重新移入，不久，益阳师范附小也在原圣庙开办起来了。
新中国成立后一段时期里，文昌阁倒也相安无事，虽然缺少必要的修缮，但是到了“大跃进”后期，出于破旧立新的需要，厄运开始降临它的头顶。1963年，益阳县拆除了文昌阁内的忠烈祠，在此大兴土木，建立起益阳县花鼓剧院。往后，由于古老的木建筑不断风化破败，缺少必要的维护与修缮，加之人为的蚕食不断，到20世纪80年代，文昌阁仅存一个牌楼作为剧院的前厅，其余部分皆荡然无存了。
1993年，益阳县将文昌阁列为重点文物予以保护；1997年，它进入了益阳市市级重点文物保护单位名录。
值得一提的是，明清两朝，崇文重教风气日盛，无论是官府还是民间百姓，都迫切希望乡邑文运昌盛，文曲星多多降临。特别是读书人，文昌阁是他们科举求仕寄寓红运大志的圣地。如果说考棚街为他们的进阶提供了比试笔墨春秋的场所，文昌阁则是这些莘莘学子发奋苦读的精神家园。相传明清以来，在外为官的益阳籍官宦回乡，先要至文庙更衣，然后到大成殿祭孔，毕后方可归家省亲。依此惯例，像夏宝、胡达源、汤鹏、胡林翼、肖大猷、刘集勋等这些益阳籍才子，无一不亲临文昌阁，祭拜里面的大大小小各种圣像的。所以，说文昌阁是益阳科举时代的一个文化符号，似乎一点也不为过。