崂山下清宫里，有一株两丈高的耐冬树, 树干粗壮得几个人合抱才能围过来；还有一株牡丹，也有一丈多高，花开时节, 绚丽夺目，宛如一团锦绣。胶州黄生爱上这个道观的清幽雅静，便借住一个房间作了书斋。
一天, 黄生正在书斋中读书, 偶然抬头向窗外一望, 远远看见一个白衣女郎的身影在花丛中若隐若现。黄生想, 道士修炼之地哪来的女子呢？便急走出书斋看个究竟, 女郎却早已无踪无影了。但此后又有几次看见女郎出来, 黄生便预先藏在树丛里, 等候女郎再来。不一会儿，女郎果然来了，身旁还有一个红衣女郎陪伴着。黄生望去，两个妙龄女郎，红白相映, 光彩照人, 真是艳丽双绝。女郎愈走愈近，突然，红衣女郎停住脚步，一边后退一边小声说：“这里有生人！”黄生不肯错过机会，猛扑过去，两个女郎吓得扭头便跑，裙衫长袖飘舞起来，传来一阵浓郁的香气。黄生追过短墙，女郎们倩影又消失了。黄生爱慕极了，便提笔在树上写了一首绝句：无限相思苦，含情对短窗。恐归沙吒利，何处觅无双？
他边想边走进书斋，白衣女郎忽然笑盈盈地走了进来。黄生又惊又喜，起身相迎。女郎笑着说：“瞧你刚才气势汹汹像个强盗，怪吓人的；没承想原来是个风流儒雅的诗人呢，那就不妨会见会见了。”黄生问起她的身世，女郎说：“我叫香玉，本是妓院中人，被道士幽闭在这山中，实在并非心甘情愿的。”黄生忙问：“道士叫什么名字？我一定替您洗雪耻辱。”香玉说：“不必了。他也没敢逼我。我趁此机会跟您这位风流文士常来幽会，倒也不错呢。”黄生又问那位红衣女郎是谁，香玉说：“她叫绛雪，是我的义姊。”两人愈谈愈亲密，当夜香玉便留宿在黄生的书斋里。第二天醒来，已是红日临窗。香玉急忙起身，说：“这真是贪玩忘天晓了！”一边穿衣，一边高兴地对黄生说：“我也凑了一首诗，算是对昨天您的大作的酬和吧，请勿见笑：良夜更易尽，朝暾已上窗。愿如梁上燕，栖处自成双。”
黄生一听，喜出望外，握住香玉的手说：“您原来秀外慧中，漂亮而又聪明，真叫人爱死！离了你一天，真如千里之别。您务必抽空就来，不必等到晚上啊！”香玉答应着。从此二人每夜必会。黄生还常求香玉邀绛雪来，绛雪却总是不来，黄生颇觉遗憾。香玉只好安慰他：“绛姐的性情落落寡合，不像我这么痴情。你得容我慢慢劝他，不要性急呀!”
一天晚上，香玉突然闯进书斋，满面凄惨地对黄生说：“你连‘陇’都守不住，还望‘蜀’呢。咱俩永别的日子到了！”黄生大惊：“这是怎么说？你要到哪里去？”香玉用衣袖擦着泪，泣不成声地说：“这是天意，很难给你说清的。反正当初的诗句今日应验了。‘佳人已属沙吒利，义士今无古押衙’，可以说是为我而吟的了。”黄生一再追问究竟是怎么回事，香玉就是不肯明言，只是呜呜咽咽，哭个不止。这一夜两人通宵未眠，天刚透亮香玉就走了。黄生感到十分奇怪，惴惴不安。第二天，一个姓蓝的即墨县人到下清宫来游览，见到那株白牡丹，十分喜爱，便把它挖走了。黄生这才恍然大悟，原来香玉是牡丹花妖，于是感到怅惘，而又十分惋惜。
过了一些天，黄生听说那位姓蓝的把牡丹花移植到家中，牡丹花却一天天枯萎了。黄生痛恨极了，写了哭花诗五十首，天天跑到白牡丹原来的坑穴边上痛哭凭吊。一天，凭吊完毕，正在返回书斋，远远望见红衣女郎绛雪也在牡丹穴边凭吊。黄生便慢慢走过去，绛雪也不躲避；黄生近前拉住她的衣袖，两人相对流泪。站了一会儿，黄生邀绛雪到书斋一叙，绛雪便跟着来了。绛雪长叹一声，说：“从小要好的姐妹，竟然一旦断绝了。听到你的哭声，我更悲痛。你的眼泪流到九泉之下，也许她会为你的诚心感动而复生呢。可是死者精魂开始消散，短时间内怎么能跟我们一块儿谈笑啊？”黄生也叹息说：“都怪小生命薄，妨碍了情人，当然更无福气消受双美了。从前我多次托香玉转达我的热忱，为什么您不来见我呢？”绛雪回答说：“我以为年轻书生，十有八九是薄情儿，不知你原来是个至性至情的人。不过你我相交，只在友情而不在淫乐。如果一天到晚总是卿卿我我，那我是办不到的。”说罢就要告辞，黄生赶紧上前拦住，说：“香玉长别已使我废寝忘食。全靠您陪我一会儿，我才得到一些安慰，您怎么能如此绝情呢？”绛雪无奈，只好留宿一夜，走后还是多日不见回来。黄生独自面对窗外凄冷的雨丝，苦苦思念着香玉，夜里辗转反侧，眼泪洒满了枕席。凄苦难奈之际，便披衣起床，挑亮灯烛，按照前首诗的韵脚又写起来：山院黄昏雨，垂帘坐小窗。相思人不见，中夜泪双双。
写成之后，正在低吟，忽听窗外有人说：“有作诗者便应有和诗者呀！”一听就知道是绛雪，黄生急忙开门迎接。绛雪看看书案上的诗，顺手提笔在后面续了一首：连袂人何处？孤灯照晚窗。空山人一个，对影自成双。
黄生读了和诗，又流下泪来，也更埋怨与绛雪相见的次数太少了。绛雪劝解说：“我不能像香玉妹子那么热情，只不过多少安慰一点儿您的寂寞罢了。”黄生想同她