【Paper标题自动生成神器|ChatGenTitle】ChatGenTitle--使用百万arXiv论文信息在LLaMA模型上进行微调的论文题目生成模型
项目名称：ChatGenTitle
项目Star：137
项目Fork：5
项目链接：网页链接
项目介绍：
1、作者正式发布LLaMa-Lora-7B-3 和 LLaMa-Lora-7B-3-new 版本的LoRA模型权重，允许本地部署使用；
2、定时在arXiv上定时爬取cs.AI 、cs.CV 、cs.LG 论文的任务，作为模型语料
3、合计整理了220W+篇arXiv论文的元信息，这些元信息包括：title和abstract
4、文章标题生成效果见图4
微调技术：
注：Instruct微调和LoRa微调是两种不同的技术。
Instruct微调：
1、Instruct微调是指在深度神经网络训练过程中调整模型参数的过程，以优化模型的性能。
2、在微调过程中，使用一个预先训练好的模型作为基础模型，然后在新的数据集上对该模型进行微调。
3、Instruct微调是一种通过更新预训练模型的所有参数来完成的微调方法，通过微调使其适用于多个下游应用。
LoRa微调：
1、LoRa微调则是指对低功耗广域网（LoRaWAN）中的LoRa节点参数进行微调的过程，以提高节点的传输效率。
2、在LoRa微调中，需要了解节点的硬件和网络部署情况，并通过对节点参数进行微小调整来优化传输效率。
3、与Instruct微调相比，LoRA在每个Transformer块中注入可训练层，因为不需要为大多数模型权重计算梯度，大大减少了需要训练参数的数量并且降低了GPU内存的要求。
4、研究发现，使用LoRA进行的微调质量与全模型微调相当，速度更快并且需要更少的计算。
5、因此，如果有低延迟和低内存需求的情况，建议使用LoRA微调。
