有个姓黄的书生，借居在崂山的一个道观里读书，后花园里有一株红山茶，高达二丈；一株白牡丹，高达一丈。花开之时，满树绚丽耀眼，十分惊艳。
这天，黄书生在房中读书，偶然抬头朝窗外看了一眼，看见一个白衣女子在花丛中闪现。
他觉得奇怪，道观之中怎么会有女子，出门去瞧，却又不见了踪影。他以为看花了眼，谁知后来，又瞧见了几次。
他不甘心，这天就提早藏身在树丛中，过了一会儿，果然那个白衣女子出现了，身边还有一个红衣女子，两人相伴而来，美艳绝伦。
两人察觉树后有人，转身就走。黄书生不想错过机会，冲出去想拉住她们。两个女子吓坏了，朝短墙外飞跑，裙袂翩跹，掀起浓郁的花香。
黄书生追到短墙边，不见了女子的身影，他就提笔在墙上写了一首赞美的诗。
晚上，白衣女子笑意盈盈地进来了，说：白天见你那样子，以为是个狂徒，看了你的诗，原来是个才子，就来与你相见。
黄书生惊喜地迎她入座，两人谈笑了一夜，女子说，她叫香玉，红衣女子是她的结拜姐姐，她们无亲无眷，隐居于此。
此后，香玉每晚都来与黄书生相伴，两人感情愈浓，亲亲热热。黄书生还想见红衣女子，她却是个性情冷落之人，不肯来。
这天，香玉哭着来对他说：咱们就要分别了。
黄书生问她要去哪里，她不肯说，只是流泪，不到天亮就走了。
天亮后，一个姓蓝的富商来到道观，把那株白牡丹给挖走了。
黄书生才恍然明白，香玉就是白牡丹。
白牡丹被移栽到蓝家后不仅，就枯萎死掉了。黄书生又悲又痛，每天到它从前种植的坑前凭吊痛哭。
这天，他又准备去凭吊，看到红衣女子在那里，他走过去，红衣女子没有躲开。
黄书生问：以前多次相邀，为何你不肯相见。
红衣女子说：从前以为读书人轻佻，如今见你凭吊香玉，知道你是个至情至性之人，可是你若想与我交往，只可做朋友，我不会跟香玉那样与你卿卿我我。
黄书生答应了，此后，每当他伤心难过时，红衣女子就过来陪伴他，与他饮酒论诗。黄书生感叹道：香玉是我的爱妻，你是我的良友。
又问：你是哪株花木，我把你移到我家去，免得你也被坏人挖走了。
红衣女子说：花木离开故土就难活，告诉你也没用，再说相爱之人尚且难以到白头，何况咱们只是朋友。
年底，黄书生回到家乡，这天晚上，忽然梦见红衣女子来对他哭诉说：我就要大难临头了，你快来见我最后一面。
黄书生醒来，飞奔去道观，原来道观里要建屋子，有一株红山茶碍事，工匠们正在刨树。
黄书生赶紧上前制止住，晚上，红衣女子过来道谢，黄书生笑道：这回我可知道你的底细了。
两人又一起到香玉的坑前凭吊了一回，黄书生才回家。
年后，红衣女子又来了，满脸喜气地说：告诉你一个好消息，你的真情感动了花神，要让香玉再次降生。
黄书生高兴极了，又住进道观中等待着。这晚，他终于看见香玉进来了，忍不住热泪盈眶，上前去拉她的手，手中却空无一物。
香玉说：你用花粉兑上水，每天往我的坑里浇一杯，明年咱们就可以相见了。
次日，黄书生到坑边一看，果然里面冒出了一株牡丹嫩芽，于是他每天细心地浇水、培土，呵护备至。
牡丹小苗长得很快，到了次年初春，就已长成了大株，四月，枝上开出一朵含苞待放的花。
黄书生就守在花朵旁边等着，花朵缓缓绽开，如圆盘一般大，一个拇指大小的美人坐在花蕊中，转眼飘然而下，落地成为一个亭亭玉立的大美人，素雅清绝，正是香玉。
黄书生携她进屋，红衣女子也来了，三人饮酒说笑到深夜，红衣女子才离开，黄书生与香玉恩爱非凡。
后来，黄书生就一直住在道观不回家了，他指着白牡丹对香玉说：等我死后，灵魂就留在你旁边，陪伴着你。
数年后，黄书生病危，他很坦然，弥留之际，对道士说：明年这株白牡丹下面会冒出一个红芽，有五片嫩叶，那就是我。
次年春天，白牡丹下果然冒出了五片叶子的红芽，道士们很惊讶，都细心地浇灌它。三年后，这株牡丹就长得比白牡丹还粗壮了，只是一直不开花。
多年后，老道士仙逝了，新来的小道士不知底细，见它不开花，就把它砍掉了。不久，白牡丹死掉了，红山茶也枯萎了。