0、TL;DR
选取10篇2023年7月大语言模型Top论文：
1. "SPAE: Semantic Pyramid AutoEncoder for Multimodal Generation with Frozen LLMs"介绍了一种语义金字塔自动编码器（SPAE），可以使冻结的LLM执行涉及非语言模态的任务。
2. "Large Language Models are Effective Text Rankers with Pairwise Ranking Prompting"提出了一种提示技术，使开源LLM能够在标准基准上执行最先进的文本排名。
3. "A Survey on Evaluation of Large Language Models"对LLMs评估方法进行了全面概述，并将相关资源同步到github。
4. "Large Language Models as General Pattern Machines" LLM可以在上下文学习的驱动下充当通用序列建模器，并将其应用于机器人技术。
5. "Focused Transformer: Contrastive Training for Context Scaling"引入了Focused Transformer (FoT)，通过对比训练过程来增强（键，值）空间的结构，以扩展上下文长度。
6. "Large Language Models as General Pattern Machines"对RLHF进行了研究并探索了PPO的内部工作原理。
7. "Model Card and Evaluations for Claude Models"提供了Claude 2的详细模型卡以及一系列评估结果。
8. "Scaling Autoregressive Multi-Modal Models: Pretraining and Instruction Tuning"引入了检索增强的多模态语言模型，并利用大规模指令式数据进行调优。
9. "Challenges and Applications of Large Language Models"总结了LLMs的挑战和应用，包括脆性评估、提示脆性和缺乏稳健的实验设计。
10. "Llama 2: Open Foundation and Fine-Tuned Chat Models"介绍了Llama 2的预训练基础模型和微调的聊天模型，具有竞争力和强大的安全性和帮助性成果。
这些论文涵盖多个领域，包括多模态生成、文本排名、评估方法、序列建模、上下文扩展、模型卡和评估、多模态模型调优、挑战和应用、以及聊天模型等。
以下是一些笔记和摘要：
1、SPAE: Semantic Pyramid AutoEncoder for Multimodal Generation with Frozen LLMs
在这项工作中，研究人员引入了语义金字塔自动编码器（SPAE），使冻结的LLM能够执行涉及非语言模态（例如图像或视频）的理解和生成任务。SPAE 在原始像素和从 LLM 词汇中提取的可解释词汇标记（或单词）之间进行转换。由此产生的标记捕获了视觉重建所需的语义和细粒度细节，有效地将视觉内容翻译成LLM可以理解的语言，并使其能够执行各种多模式任务。
ps：推荐系统的可解释性方面也许可参考
Paper：https://arxiv.org/abs/2306.17842 ，2023年7月3日
2、Large Language Models are Effective Text Rankers with Pairwise Ranking Prompting
提出了一种提示技术，使开源 LLM 能够在标准基准上执行最先进的文本排名。
Paper：https://arxiv.org/abs/2306.17563 ，2023年6月30日
3、A Survey on Evaluation of Large Language Models
在这项工作中，对LLMs评估方法的全面概述，重点关注评估什么、在哪评估以及如何评估。并且将相关资源同步到github。
Paper：https://arxiv.org/abs/2307.03109，2023年7月6日
资源：https://github.com/MLGroupJLU/LLM-eval-survey
4、Large Language Models as General Pattern Machines
研究人员观察到即使没有任何额外的训练，LLM也可以在上下文学习的驱动下充当通用序列建模器；这项工作将零样本功能应用于机器人技术，并表明将单词之间的模式转移到动作是可能的。
Paper：https://arxiv.org/abs/2307.04721 ，2023年7月10日
5、Focused Transformer: Contrastive Training for Context Scaling
研究人员引入了Focused Transformer (FoT)，这是一种采用受对比学习启发的训练过程的技术，采用对比训练过程来增强（键，值）空间的结构，以扩展上下文长度；提出了一个微调模型LongLLaMA（名字和图片太搞笑了），可以延长上下文并展示长上下文任务的改进。
Paper：https://arxiv.org/abs/2307.03170v1，2023年7月6日
Code：https://github.com/CStanKonrad/long_llama
6、Secrets of RLHF in Large Language Models Part I: PPO
仔细研究 RLHF 并探索 PPO 的内部工作原理（包含代码）。
Paper：https://arxiv.org/abs/2307.04964，2023年7月11日
Code：https://github.com/OpenLMLab/MOSS-RLHF
7、Model Card and Evaluations for Claude Models
提供 Claude 2 的详细模型卡以及一系列安全、对准和功能评估的结果。
Paper：https://www-files.anthropic.com/production/images/Model-Card-Claude-2.pdf，2023年7月11日
8、Scaling Autoregressive Multi-Modal Models: Pretraining and Instruction Tuning
引入了检索增强的多模态语言模型，可以生成文本和图像；利用多样化的大规模指令式数据进行调优，与同类方法相比，性能显着提高，训练计算量减少 5 倍。Paper：地址 ，2023年7月14日 @Meta
9、Challenges and Applications of Large Language Models
总结了LLMs的全面挑战和应用，范围从脆性评估到提示脆性到缺乏稳健的实验设计。这篇调查非常全面，之前推荐过。
Paper：https://arxiv.org/abs/2307.10169 ，2023年7月19日
10、Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2 ：预训练的基础模型和微调的聊天模型的集合，规模从 7B 到 70B；Llama 2-Chat 在一系列任务上都具有竞争力，并且在安全性和帮助性方面表现出强劲的成果。
Ps：llama2 的发布可能是对开发人员最大的利好
Paper：https://arxiv.org/abs/2307.09288v2，2023年7月18日
参考资料：
1. "SPAE: Semantic Pyramid AutoEncoder for Multimodal Generation with Frozen LLMs", https://arxiv.org/abs/2306.17842
2. "Large Language Models are Effective Text Rankers with Pairwise Ranking Prompting", https://arxiv.org/abs/2306.17563
3. "A Survey on Evaluation of Large Language Models", https://arxiv.org/abs/2307.03109
4. "Large Language Models as General Pattern Machines", https://arxiv.org/abs/2307.04721
5. "Focused Transformer: Contrastive Training for Context Scaling", https://arxiv.org/abs/2307.03170v1
6. " Secrets of RLHF in Large Language Models Part I: PPO", https://arxiv.org/abs/2307.04964
7. "Model Card and Evaluations for Claude Models", https://www-files.anthropic.com/production/images/Model-Card-Claude-2.pdf
8. "Scaling Autoregressive Multi-Modal Models: Pretraining and Instruction Tuning", https://scontent-hkt1-2.xx.fbcdn.net/v/t39.2365-6/358725877_789390529544546_1176484804732743296_n.pdf?_nc_cat=108&ccb=1-7&_nc_sid=3c67a6&_nc_ohc=jUih2dtbJfwAX8aoIgn&_nc_ht=scontent-hkt1-2.xx&oh=00_AfDs-6XwL4kLPfMi3_33wKl3XyKNAMrRcAtEhOq2QSZ6Iw&oe=64CF0FF2
9. "Challenges and Applications of Large Language Models", https://arxiv.org/abs/2307.10169
10. "Llama 2: Open Foundation and Fine-Tuned Chat Models", https://arxiv.org/abs/2307.09288v2