洛阳人常大用非常喜爱牡丹。他自家种了很多牡丹，有一次他听别人说曹州牡丹是山东最好的，这个消息令他十分高兴，他决定去瞧瞧。有一次他有事到曹州，他借住在一个富绅家中，他发现富绅家种满了牡丹。
当时正是二月间，牡丹还没开花，他只好在园中徘徊，每天去盯着那些花苞，希望能早早开放。这期间，他写了上百首咏牡丹的诗。不久，牡丹渐渐长出了花蕾，但他的钱也用光了，该回家了。他舍不得走，便把衣服都卖掉了，每天还去欣赏牡丹花。
一天天刚亮，他去花园，见到一位姑娘和一位老妇人也在那儿，他以为她们是主人的家眷，便连忙返回来。傍晚再进园中时，又遇见她们，他悄悄一看那姑娘，见她穿着打扮非常华丽。他想，这一定是仙女，人间哪能有这样美丽的女子呢？他刚转过身要回去，却被二人发现，老妇人连忙用身子挡住姑娘，喝斥他说：“大胆狂生，想干什么！”常大用吓得连忙跪下说：“姑娘这么美丽，一定是神仙吧！”老妇人说：“胡说八道，该把你送到官府。”他很害怕，姑娘却微微一笑，说：“走吧。”转过假山走了。
常大用却从此对姑娘念念不忘，竟得上了相思病。连续病了三天，憔悴得不行。
这天晚上，仆人已睡了，老妇人忽然来了，手里端了个杯子，说：“这是我家葛巾姑娘亲手调制的毒药，快喝了吧。”他吓了一大跳，随后便说：“我和姑娘无冤无仇，何至于要赐死我？既然是姑娘亲手调制，与其相思而死，不如饮毒药而死！”于是接过来一饮而尽，老妇人笑了笑走了。他喝药时，觉得味道香冷，不像是毒药，不一会就觉得浑身舒畅，头脑清爽，便睡着了。
等到他醒来时，已是阳光灿烂，他下床走了走，病好像全好了，他坚信那个葛姑娘是仙女。但是没有相见的机会，他便在没人时到她以前站过、坐过的地方默默地祈祷。一天。他正在散步，忽然在树林深处遇见了葛巾姑娘。他高兴极了，拜倒在地，姑娘上前扶他，正要说话，只见那老妇人朝他们走来，葛巾让他藏在石头后面，并指着南边说：“晚上你爬梯子过来，那个四面都是红窗的房子，就是我的住处。”说完便匆匆离去了。
晚上，他搭上梯子，爬到了那间红窗户的房子前从窗口往里看，发现姑娘正在和另一人女子在下棋，老太太坐在旁边，一个丫头在边上侍侯。他只好又爬过墙回去等候，来回爬了三次，已经是三更天了。他躲在梯子旁边等，只见老太太走出房来，说：“这里怎么有个梯子？”说着，命丫头搬走，常大用没梯子上去，又恼恨又失望，只好回房去了。
第二天夜里，常大用又去了。他顺梯子上去，看见姑娘一人坐在屋中，便高兴地进去了。姑娘一见他，吃了一惊，刚说了几句话，就听外面传来脚步声，葛巾忙让他躲在床下，说：“玉版妹子来了！”没过多久，一个姑娘进了屋，说：“你还敢和我下棋吗？我已经泡好茶了，请你去下个通宵。”葛巾说困了不想下棋，硬是坐着不动。玉版生气了：“怎么恋恋不舍的，难道有男人藏在屋里吗？”说着，硬把她拉走了。
常大用恨死了，只好从床下爬出来，东翻西找，想找件姑娘的东西作纪念。找来找去，只从床上找到一件玉如意，柄上扎了条紫色的手中，常大用将它藏在怀中走了。隔了一夜，姑娘上门来了。葛巾一见面就笑着说：“我原以为你是君子，谁知却是个小偷！”他回答说：“偶尔不当君子，只是期望如意啊！”葛巾说：“这不是我的东西，是玉版妹子忘在我那里的。”他只好还给了她，又问她玉版是谁，葛巾说是她堂妹。
葛巾走后，他的房中到处飘散异香。此后，每隔三两夜姑娘就到他房中和他幽会。常大用被迷住了，忘记了回家，而他的钱又用光了，就打算卖马。葛巾知道了，说：“你为了我，衣服也当光了，我怎么忍心呢？现在又卖马，你家离这里那么远，你将来如何回家呢？我还有点积蓄，你拿去用吧！”他推辞说：“你对我这么好，我已无法来报答，再花你的钱，我还算人吗？”葛巾硬是要他拿去，说：“就算借给你的。”说完拉着他到一棵桑树下，指着一块石头，让他搬开。然后姑娘从头上取下簪子，在地上刺了几下，让他扒开土，就看见一个坛子。葛巾伸进手去，拿出了五十两，他不让姑娘再拿。姑娘不听，又拿了十多锭，常大用硬是放回了一半，然后把坛子埋了起来。
一天晚上，葛巾对他说：“近来外面有闲言碎语，看来咱们不能这样长久下去了。”两人商议后，决定一起逃走。葛巾和他约定，让他先走，然后在洛阳会面。常大用连忙收拾行装，返回洛阳。谁知他刚到，姑娘的车几乎同时也到了。父母见他带了个美丽的妻子回来，十分高兴，四邻也前来祝贺。可常大用心里却提心吊胆的，怕葛巾父母追来。可姑娘却很坦然。对他说：“别说远隔千里了，就算是被他们知道了，又能怎样呢？”
常大用弟弟叫大器，也到了成婚的年龄。葛巾想把玉版介绍给他。常大用很高兴，葛巾于是派老妇人带了马车把玉版接了过来。两人成亲后，日子也过得很美满。
有一天，突然来了几十个强盗。常大用忙带家人上了阁楼，但强盗又进来围住了阁楼。强盗把柴草堆在楼下，威胁说要放火烧楼。常大用答应给他们钱，但强盗们不满足，还要更多的钱，否则就要点火。家人都吓坏了，葛巾和玉版却镇定地下楼，到了门口，葛巾对强盗说：“我们姐妹都是仙女，暂来人间游玩，怕什么强盗！想赏给你们万两金银，只怕你不敢要！”强盗全被她们的美丽惊呆了，慌忙下拜，连说：“不敢！不敢！”然后姐妹两人从容地上楼，强盗们吓得狼狈逃走了。
过了两年，姐妹两人各生了一个男孩。这时葛巾才透露自己姓魏，母亲被封为曹国夫人。常大用从与她相识到现在，她一直没说自己的姓氏，常大用怀疑曹州是否有姓魏的大家族，更可疑的是，曹州的大家族中一连逃走两个女儿，怎么会不管不问呢？因此，他虽没问过葛巾，但内心一直犯疑。后来，他找机会到了曹州。到曹州后，他四处上打听，谁都不知道有什么魏姓的大户。于是他又来到他从前住过的地方，无意间，他见到了墙壁上有赠曹国夫人的诗，感到很吃惊，就向主人打听。主人一听，哈哈大笑，就请他去看“曹国夫人”。原来这是一株牡丹，长得与屋檐一样高。因为这株花是曹州第一，因此人们开玩笑，才赠它这样一个美名。
常大用又问这花是什么品种，主人说是“葛巾紫”。常大用心中害怕，怀疑妻子是花妖。回家后，常大用不敢说，只是讲出了那赠曹国夫人的诗来，看葛巾有什么反应。哪知葛巾听了一下子变了脸色，匆勿出去，叫玉版抱了孩子来。她对常大用说：“三年前，我被你真诚的思念所感动，就以身报答。如今你怀疑我，我们怎能再聚在一起呢。”说完，她和玉版一起举起各自的孩子，扔在了地上，孩子一掉地就消失了。常大用正惊慌地寻找，两个女子也不见了。常大用又悔又恨。
过了几天，孩子落地的地方长出了两株牡丹，长势很好，没过多久便开了花，大红大紫的，名震洛阳。