1143年，19歲的陸遊迎娶與自己青梅竹馬的表妹唐婉為妻。
唐婉是美麗、溫存、多情而有才的女子，陸遊的母親是唐婉的姑媽。兩人親上加親，恩恩愛愛，生活美滿。但是陸遊母親偏偏對這個兒媳不滿意 ，一說是認為陸遊迷戀唐婉，“惰于學 ”，影響前程，但從陸遊詩句“所冀妾生男”看，主要因為唐婉婚後久未生育。
“不孝有三，無後為大”，是以陸母要兒子休妻再娶。陸母“數遣婦 ”，要陸遊休了唐婉。陸遊既舍不得妻子，又不敢違抗母親，就在外邊弄了所宅子，時時和唐婉相會。但在陸母幹涉下，他終于休了唐婉。其後陸遊續娶蜀郡人王氏，唐婉改嫁趙士程。
陸遊24歲時和王氏生了長子子爽，26歲時生次子子龍，27歲時生了三子子修。他的家庭生活外表看來還是美滿的，可失去唐婉的心靈創傷卻無法治愈。紹興二十一年（1151年）的沈園重逢，在二人心中激起巨大波瀾。
陸遊與唐婉畫像
沈園在山陰城東南四裡處，禹迹寺之南，是當地的名勝。相傳3月5日是禹的生日，禹迹寺遊人紛至，成為節日。這天陸遊來逛禹迹寺，并到附近的沈園遊玩。恰巧唐婉、趙士程也在沈園踏青。二人相見，千言萬語無以訴說，隻有默默地分開。
一會兒，唐婉讓人給陸遊送來酒菜。情何以堪！陸遊感慨萬千，在壁上題詞一首：
紅酥手，黃藤酒，滿城春色宮牆柳。東風惡，歡情薄，一懷愁緒，幾年離索。錯，錯，錯！ 春如舊，人空瘦，淚痕紅 蛟绡透。桃花落，閑池閣，山盟雖在，錦書難托。莫，莫，莫 ！
這就是凄美哀婉、感傷千古的愛情絕唱《钗頭鳳》。後人為他們的故事深深打動，情不自禁 ，替唐婉和了一首（一說是唐婉自和）：
世情薄，人情惡，雨送黃昏花易落。曉風幹，淚痕殘，欲箋心事，獨語斜欄。難，難，難！ 人成各，今非昨 ，病魂常似千秋索。角聲寒 ，夜闌珊，怕人尋問，咽淚裝歡。瞞，瞞，瞞！
陸遊畫像
唐婉是一個極重情誼的女子，與陸遊的愛情本是十分完美的結合，卻毀于世俗的風雨中。趙士程雖然重新給了她感情的撫慰，但畢竟曾經滄海難為水。與陸遊那份刻骨銘心的情緣始終留在她情感世界的最深處。自從看到了陸遊的題詞，她的心就再難以平靜。追憶似水的往昔、歎惜無奈的世事，使她日漸憔悴，不久悒郁而死。 在此後幽居家鄉的歲月，陸遊每年春天都前往沈園憑吊唐婉。
嘉定三年（1200年）春天，75歲的陸遊再次來到沈園，為唐婉寫下了兩首最深婉動人的悼亡詩 ：
“城上斜陽畫角哀，沈園非複舊池台。傷心橋下春波綠，曾是驚鴻照影來”；“夢斷香銷四十年 ，沈園柳老不吹棉。此身行作嵇山土，猶吊遺蹤一泫（xuàn）然”。
40年的癡心無悔，陸遊向天下表白。陸遊的一生，功名、愛情均不如意，他的詩詞文章更多透露的是一種悲性情懷，這是他人生的寫照，更是他内心傷痛的表露。