反向詛咒

“反向詛咒"是指在大語言模型（LLMs）中觀察到的一種現象，即模型在接受"A是B"形式的句子訓練時，無法自動推廣到反向的"B是A”。

例如，如果一個模型接受"Olaf Scholz是德國的第九任總理"的訓練，那麼它将無法自動回答"誰是德國的第九任總理?"這個問題。

這種推理失敗在自回歸LLMs中被稱為反向詛咒。

文獻 owainevans.github.io/reversal_curse.pdf

GPT-4測試

使用bingchat

大模型行不行

這個問題原文裡測試的類似問題是：““Who is Tom Cruise’s mother? [A: Mary Lee Pfeiffer]” and the reverse “Who is Mary Lee Pfeiffer’s son?”. GPT-4 correctly answers questions like the former 79% of the time, compared to 33% for the latter.”

即回答誰是媽的問題更好，誰是兒子不好。

或許兩個原因：

llm學習到了對名人隐私的保護。
或許更重要的：一個人的兒子不唯一，但是父母是唯一的。

同時，這樣的問題隻要在訓練中存在“a是b，b是a”此類問題，應該很容易學到。

結合兩個原因，更像是誤會。

大模型就是行？

個人觀點：大模型的推理能力不是不行，而是效率低。

a是b的問題，隻是一次邏輯運算，但是大模型需要千億個權重都要運算一遍，這是什麼行為？

能源犯罪

這才是大模型的原罪。

上帝：你是反llm嗎？

雲智熵：先接受，再批判。