近期，美国加州大学圣迭戈分校团队提出了一种基于生成式模型的学生智能体系统 EduAgent。利用大语言模型，全方位模拟学生的细粒度物理行为、心理状态和学习过程。
实验表明，EduAgent 不仅可以模拟和预测真实学生的学习行为，而且可以在没有真实数据的情况下，生成虚拟学生的合理学习行为。
近日，相关论文以《EduAgent: 在学习中的生成式学生智能体》（EduAgent: Generative Student Agents in Learning）为题，发表在预印本网站 arXiv 上[1]。
加州大学圣迭戈分校博士研究生徐嵩霖为第一作者兼通讯作者，该研究在覃莲卉助理教授和张新宇教授共同指导下完成。
图丨相关论文（来源：arXiv）
挑战：用大语言模型模拟学生的细粒度行为
虽然在大模型之前，已经有很多研究用深度学习来模拟学生行为，但是深度学习受限于大量的训练数据，难以直接模拟不同性格的学生。
随着大语言模型的爆发，越来越多的研究证明，即使不提供新的训练数据来调整模型，大语言模型也具有很强的学习和模拟能力。
基于大语言模型的预训练，已经教会了它很强的上下文学习能力和广泛的知识库。因此，使用大语言模型来模拟学生行为更加可行，只需要给它上下文的语境信息。
尽管大语言模型已经被充分证明具有很强的人类行为的模仿能力，但用它来模拟学生的细粒度行为更有挑战性。
该团队在此前已有研究的基础上，提供了更细粒度的数据集标记，包含学生在上网课的过程中，采集到的实时眼球追踪信息、各种不同的心理状态和最终的学习效果。
然而，需要模拟的学生行为太多（包括物理行为、心理状态和对知识点的理解能力），并且上下文过于复杂，大语言模型难以从大量信息中抓住重点。
徐嵩霖表示：“我们提出基于认知先验的方法，来引导模型思考和推理不同行为之间的潜在联系和互相影响，从而实现效果更好的学生行为模拟。”
图丨EduAgent 框架（来源：arXiv）
此外，在很多场景中，很难获得真实的学生数据。因此，研究人员还探索了在没有任何真实学生数据的情况下，大语言模型模拟的虚拟学生智能体是否仍然可产生合理的行为。
通过模拟不同性格的学生，他们发现，虚拟学生智能体生成的物理行为、心理状态和知识点的掌握能力三者之间的交叉联系，与很多已有的认知科学研究所证明的三者关系保持一致。
“这证明了利用大语言模型在不依赖真实数据的情况下，生成合理、完全虚拟的学生行为是可行的。”他说。
据悉，在教育场景的数字孪生系统方面，研究人员开发了更细粒度和更接近学生真实学习状态的智能体模拟系统。
这样的系统可以全面模拟学生的各种真实的学习行为和状态。
比如，不仅模拟学生回答问题，还可以模拟授课过程中学生的眼球动作，甚至学生的心理状态是否对某个知识点感觉困惑，以及是否在课堂上很专注或走神等。
与此同时，基于数字孪生的智能教学系统，比已有的智能教学系统有更进一步的提升，不再局限于简单地为老师提供建议或为学生提供回答，而是深入融合到教学过程中。
在学生学习的整个过程中，通过细粒度的学习行为（比如专注点）和每个学生独特的知识背景和理解能力，提供及时和个性化的教育辅导。
除了教育领域，该论文所提出的“利用大语言模型模拟人的物理行为（如眼神动作）”的思路，有望被拓展到其他包含用户行为的场景。
例如，真人和虚拟数字人的交互。通过生成虚拟数字人的眼神和真人的眼神动作进行眼神接触和交互，使用户获得认同感和情感交流。
开发基于生成式模型的学生智能体
据介绍，该研究大致经历五个阶段，包括：寻找重要的问题、文献调研、提出新模型、设计实验评价模型和思考模型的潜在应用场景和局限性。
具体来说：
第一，寻找重要的问题。
实际上，研究人员在此前的项目里已经发现该问题：如何用更少的数据，更真实地模拟学生更细粒度和全面的学习行为？
已有的深度学习模型需要大量的数据集进行训练，所以亟需研究新的模型，满足好的效果的同时，又不需要大量额外的训练数据。
第二，文献调研，了解针对这个问题的最新已有论文的解决方法、效果和局限性。
徐嵩霖介绍道：“通过调研我们发现，虽然已有研究利用大模型进行学生学习的模拟，但是效果甚至没有深度学习的模型好。”
其中的主要原因之一在于，已有的研究只利用学生回答问题的准确率进行建模，忽略了上下文信息。比如，具体知识点的内容、学生在学习这个知识点过程中的行为状态。
第三，针对已有研究的局限性，提出新的模型。
对于上述提到的已有研究的局限性，该课题组提出结合学生的物理行为、心理状态和知识理解能力，对学生行为进行更全面建模，打造真正意义上的学生智能体 EduAgent。
“该智能体可以像真实的学生一样，拥有自己的眼神动作、心理状态和理解能力，而不是简单地对学生在考试成绩中的准确率进行预测。”徐嵩霖表示。
图丨数据集与现有学生学习行为数据集的比较（来源：arXiv）
第四，设计实验评价模型。
研究人员设计了两个实验，来对模型进行评价。第一个实验用于对特定学生的建模，通过真实学生的、少量历史学习行为数据，预测未来的学习行为和状态。
第二个实验是在不依赖任何真实实验数据的情况下，对不同性格的虚拟学生，生成特定的虚拟学习行为。可应用于虚拟学生数据的生成，来训练特定的教学策略模型。
徐嵩霖解释说道：“其中，第三和第四阶段往往是互相迭代的，因为不可能一次模型设计，就达到很理想的效果。”
第五，思考模型的潜在应用场景和局限性，以及尚未解决的问题。
例如，对生成的虚拟学生行为进行更深入的研究，以保证它的合理性。另外，还需要处理针对大语言模型可能存在的偏见等问题。
希望增强对学生的个性化教学
目前，徐嵩霖在加州大学圣迭戈分校博士三年级在读，主要研究方向是基于 AI 的人类增强（Human-AI Integration）。也就是说，通过 AI 来增强人的认知能力以及在教育、健康等场景的应用。
基于该研究，该课题组后续将进行更多的拓展研究。包括：基于本次研究的数据集来探索更强大的模型，应用于团队的实验平台开发智能教学系统，通过针对性的教学，解决学生的个性化培养问题等。
图丨徐嵩霖（来源：徐嵩霖）
据介绍，目前他们已经开发了一个教学网站，通过集成最新的模型和算法，来为不同性格、不同学习背景的学生，提供有针对性的教学和引导。
例如，通过学生的历史学习行为，为每个学生自动建立个性化的资料库，来描述每个学生独特的学习状态和对知识点的掌握能力。
对每个独特的学生建立有针对性的学生模拟器，来训练智能教学模型（AI 教师），使 AI 教师能够根据不同学生的历史学习记录，反复探索不同的教学策略，并选出最优的教学策略。
“希望我们的系统可以为所有学生提供真正意义的个性化教学，来克服个性化和多样化教学的障碍，并保证教育的包容性。”徐嵩霖表示。
据悉，他们正在考虑招募志愿者（包括老师和学生），来免费远程体验这种个性化教学系统，欢迎对该项目感兴趣的伙伴联系徐嵩霖 [email protected]。
参考资料：
1.https://arxiv.org/pdf/2404.07963.pdf
运营/排版：何晨龙