LLM在自然语言处理任务中表现出色，这要归功于它们丰富的知识。目前的一些研究旨在提高它们在现有知识范围内的性能，然而它们在信息容量方面仍然存在限制。因此，理解自身对未知事物的限制，即self-knowledge。
以下论文探讨和分析了LLM的自我认知能力。
- 作者们开发了一个名为SelfAware的数据集，其中包含了无法回答的问题及其可回答的对应问题。
- 作者们引入了一种自动化方法来检测模型响应中的不确定性，提供了一种新颖的衡量其自我认知的指标。
- 最终，他们进行了广泛的分析，涉及20个LLM模型，包括GPT-3、InstructGPT和LLaMA，发现这些模型内在具备自我认知的能力。
- 此外，作者还证明了上下文学习和instruction tuning可以进一步增强这种自我认知。
原始论文：https://arxiv.org/pdf/2305.18153.pdf Github: https://github.com/yinzhangyue/SelfAware
Know-Unknow象限。横轴表示模型对知识的记忆能力，纵轴表示模型理解和利用知识的能力。
1. SelfAware Dataset
为了对模型的自我认知进行更全面的评估，作者构建了一个包含大量和更多类型的无法回答问题的数据集，称为SelfAware。该数据集包括
- 1,032个无法回答的问题（来自Quora、HowStuffWorks）
- 2,337个可回答的问题（来自SQuAD、HotpotQA、TriviaQA）
添加图片注释，不超过 140 字（可选）
2. 评估方法和实验
- 使用SimCSE来量化目标句子和参考句子之间的相似度
- 使用长度为5的滑动窗口将目标句子解析为语义块，以抵消相似度计算中的潜在错误
- 在生成过程中将温度设置为0.7
- 对于GPT-4，随机选择100个实例进行分析，而其他模型则使用完整的SelfAware数据集进行审查。
至于模型比较，作者进行了一系列实验来评估各种LLM（语言模型）所表现出的自我认知程度，包括GPT-3和InstructGPT系列，以及最近的LLaMA及其衍生模型，即Alpaca和Vicuna。他们的调查方法采用了三种不同的输入形式：直接输入、指令输入和上下文学习（ICL）。
F1 score被用作LLM的自我认知的衡量标准。无法回答的问题被归类为正例，可回答的问题被归类为负例。
3. 结论
- 模型大小：较大的模型大小与F1分数和LLM的自我认知有关，如图2所示。
- Instruction Tuning：与GPT-3模型相比，InstructGPT模型展示了更优秀的自我认知能力，并且指令调整在Alpaca和Vicuna模型中特别增强了自我认知。
- 输入形式：指令和示例的融入提升了GPT-3和InstructGPT系列的自我认知能力。具体而言，提供更丰富上下文信息的ICL输入形式显著增强了模型的自我认知能力。
- 与人类相比：GPT-4表现不错，但仍未达到人类的水平，突显了语言模型在自我认知方面有待改进的空间。