扬州八怪纪念馆位于瘦西湖东南边，与四望亭仅一路之隔，由扬州八怪之一——金农晚年寄居的西方寺改造而成。在这里你可以了解到扬州八怪的生平与作品，适合喜欢书画、对人文景点感兴趣的游客。
扬州八怪泛指清代扬州具有创新精神的一批画家，以擅画竹的郑燮（郑板桥）、一生坎坷的金农、擅画鬼的罗聘等人为代表，八怪具体指哪八个画家，说法不尽一致，据各种著述记载，前前后后至少计有十五人之多，所以“八”可看作数词，也可看做约数。
扬州八怪纪念馆主体建筑南北走向，大门在南端，进入大门，首先看到的是位于草坪中央的大铁锅，有1500多年历史，其后便是明代西方寺的大雄宝殿，用珍贵的楠木建成。大雄宝殿现为纪念馆主展厅，记得一定要抬头看，房梁上漂亮的彩绘多为明代遗存。殿堂的正中立着扬州八怪雕像，周围是展览，图文介绍八怪的生平，陈列他们的书画作品，不过书画多为仿制品。
穿过大雄宝殿，后边的庭院中有一棵将近800岁的参天古银杏，笔直往前走是李亚如书画陈列厅，平时陈列八怪传人李亚如的书画，有时也举办临时展览。左手转弯是金农寄居室，根据他的住所方丈室复原，中间是客厅，两边分别为画室和卧室，当时西方寺已衰败，可以看出金农的住处十分简陋。
然后往东行是东园部分，假山点缀，布置成江南园林的样子。可以看看池塘“鹤池窥冰”，因金农表达高洁志向的诗句“池上鹤窥冰”而得名，往南行参观竹泉亭与亭中金农取水用的水井，五代经幢，最后回到大雄宝殿东侧的“碑廊集粹”。在碑廊仔细找找，能发现著名的郑板桥书法作品“难得糊涂”。
沿扬州八怪纪念馆外的小巷子向东步行50米，有一棵用围栏护住的千年唐槐，是唐代《南柯太守传》里“南柯一梦”的故事发生地。