有個姓黃的書生，借居在崂山的一個道觀裡讀書，後花園裡有一株紅山茶，高達二丈；一株白牡丹，高達一丈。花開之時，滿樹絢麗耀眼，十分驚豔。
這天，黃書生在房中讀書，偶然擡頭朝窗外看了一眼，看見一個白衣女子在花叢中閃現。
他覺得奇怪，道觀之中怎麼會有女子，出門去瞧，卻又不見了蹤影。他以為看花了眼，誰知後來，又瞧見了幾次。
他不甘心，這天就提早藏身在樹叢中，過了一會兒，果然那個白衣女子出現了，身邊還有一個紅衣女子，兩人相伴而來，美豔絕倫。
兩人察覺樹後有人，轉身就走。黃書生不想錯過機會，沖出去想拉住她們。兩個女子吓壞了，朝短牆外飛跑，裙袂翩跹，掀起濃郁的花香。
黃書生追到短牆邊，不見了女子的身影，他就提筆在牆上寫了一首贊美的詩。
晚上，白衣女子笑意盈盈地進來了，說：白天見你那樣子，以為是個狂徒，看了你的詩，原來是個才子，就來與你相見。
黃書生驚喜地迎她入座，兩人談笑了一夜，女子說，她叫香玉，紅衣女子是她的結拜姐姐，她們無親無眷，隐居于此。
此後，香玉每晚都來與黃書生相伴，兩人感情愈濃，親親熱熱。黃書生還想見紅衣女子，她卻是個性情冷落之人，不肯來。
這天，香玉哭着來對他說：咱們就要分别了。
黃書生問她要去哪裡，她不肯說，隻是流淚，不到天亮就走了。
天亮後，一個姓藍的富商來到道觀，把那株白牡丹給挖走了。
黃書生才恍然明白，香玉就是白牡丹。
白牡丹被移栽到藍家後不僅，就枯萎死掉了。黃書生又悲又痛，每天到它從前種植的坑前憑吊痛哭。
這天，他又準備去憑吊，看到紅衣女子在那裡，他走過去，紅衣女子沒有躲開。
黃書生問：以前多次相邀，為何你不肯相見。
紅衣女子說：從前以為讀書人輕佻，如今見你憑吊香玉，知道你是個至情至性之人，可是你若想與我交往，隻可做朋友，我不會跟香玉那樣與你卿卿我我。
黃書生答應了，此後，每當他傷心難過時，紅衣女子就過來陪伴他，與他飲酒論詩。黃書生感歎道：香玉是我的愛妻，你是我的良友。
又問：你是哪株花木，我把你移到我家去，免得你也被壞人挖走了。
紅衣女子說：花木離開故土就難活，告訴你也沒用，再說相愛之人尚且難以到白頭，何況咱們隻是朋友。
年底，黃書生回到家鄉，這天晚上，忽然夢見紅衣女子來對他哭訴說：我就要大難臨頭了，你快來見我最後一面。
黃書生醒來，飛奔去道觀，原來道觀裡要建屋子，有一株紅山茶礙事，工匠們正在刨樹。
黃書生趕緊上前制止住，晚上，紅衣女子過來道謝，黃書生笑道：這回我可知道你的底細了。
兩人又一起到香玉的坑前憑吊了一回，黃書生才回家。
年後，紅衣女子又來了，滿臉喜氣地說：告訴你一個好消息，你的真情感動了花神，要讓香玉再次降生。
黃書生高興極了，又住進道觀中等待着。這晚，他終于看見香玉進來了，忍不住熱淚盈眶，上前去拉她的手，手中卻空無一物。
香玉說：你用花粉兌上水，每天往我的坑裡澆一杯，明年咱們就可以相見了。
次日，黃書生到坑邊一看，果然裡面冒出了一株牡丹嫩芽，于是他每天細心地澆水、培土，呵護備至。
牡丹小苗長得很快，到了次年初春，就已長成了大株，四月，枝上開出一朵含苞待放的花。
黃書生就守在花朵旁邊等着，花朵緩緩綻開，如圓盤一般大，一個拇指大小的美人坐在花蕊中，轉眼飄然而下，落地成為一個亭亭玉立的大美人，素雅清絕，正是香玉。
黃書生攜她進屋，紅衣女子也來了，三人飲酒說笑到深夜，紅衣女子才離開，黃書生與香玉恩愛非凡。
後來，黃書生就一直住在道觀不回家了，他指着白牡丹對香玉說：等我死後，靈魂就留在你旁邊，陪伴着你。
數年後，黃書生病危，他很坦然，彌留之際，對道士說：明年這株白牡丹下面會冒出一個紅芽，有五片嫩葉，那就是我。
次年春天，白牡丹下果然冒出了五片葉子的紅芽，道士們很驚訝，都細心地澆灌它。三年後，這株牡丹就長得比白牡丹還粗壯了，隻是一直不開花。
多年後，老道士仙逝了，新來的小道士不知底細，見它不開花，就把它砍掉了。不久，白牡丹死掉了，紅山茶也枯萎了。