LLM在自然語言處理任務中表現出色，這要歸功于它們豐富的知識。目前的一些研究旨在提高它們在現有知識範圍内的性能，然而它們在資訊容量方面仍然存在限制。是以，了解自身對未知事物的限制，即self-knowledge。
以下論文探讨和分析了LLM的自我認知能力。
- 作者們開發了一個名為SelfAware的資料集，其中包含了無法回答的問題及其可回答的對應問題。
- 作者們引入了一種自動化方法來檢測模型響應中的不确定性，提供了一種新穎的衡量其自我認知的名額。
- 最終，他們進行了廣泛的分析，涉及20個LLM模型，包括GPT-3、InstructGPT和LLaMA，發現這些模型内在具備自我認知的能力。
- 此外，作者還證明了上下文學習和instruction tuning可以進一步增強這種自我認知。
原始論文：https://arxiv.org/pdf/2305.18153.pdf Github: https://github.com/yinzhangyue/SelfAware
Know-Unknow象限。橫軸表示模型對知識的記憶能力，縱軸表示模型了解和利用知識的能力。
1. SelfAware Dataset
為了對模型的自我認知進行更全面的評估，作者建構了一個包含大量和更多類型的無法回答問題的資料集，稱為SelfAware。該資料集包括
- 1,032個無法回答的問題（來自Quora、HowStuffWorks）
- 2,337個可回答的問題（來自SQuAD、HotpotQA、TriviaQA）
添加圖檔注釋，不超過 140 字（可選）
2. 評估方法和實驗
- 使用SimCSE來量化目标句子和參考句子之間的相似度
- 使用長度為5的滑動視窗将目标句子解析為語義塊，以抵消相似度計算中的潛在錯誤
- 在生成過程中将溫度設定為0.7
- 對于GPT-4，随機選擇100個執行個體進行分析，而其他模型則使用完整的SelfAware資料集進行審查。
至于模型比較，作者進行了一系列實驗來評估各種LLM（語言模型）所表現出的自我認知程度，包括GPT-3和InstructGPT系列，以及最近的LLaMA及其衍生模型，即Alpaca和Vicuna。他們的調查方法采用了三種不同的輸入形式：直接輸入、指令輸入和上下文學習（ICL）。
F1 score被用作LLM的自我認知的衡量标準。無法回答的問題被歸類為正例，可回答的問題被歸類為負例。
3. 結論
- 模型大小：較大的模型大小與F1分數和LLM的自我認知有關，如圖2所示。
- Instruction Tuning：與GPT-3模型相比，InstructGPT模型展示了更優秀的自我認知能力，并且指令調整在Alpaca和Vicuna模型中特别增強了自我認知。
- 輸入形式：指令和示例的融入提升了GPT-3和InstructGPT系列的自我認知能力。具體而言，提供更豐富上下文資訊的ICL輸入形式顯著增強了模型的自我認知能力。
- 與人類相比：GPT-4表現不錯，但仍未達到人類的水準，突顯了語言模型在自我認知方面有待改進的空間。