【Paper标題自動生成神器|ChatGenTitle】ChatGenTitle--使用百萬arXiv論文資訊在LLaMA模型上進行微調的論文題目生成模型
項目名稱：ChatGenTitle
項目Star：137
項目Fork：5
項目連結：網頁連結
項目介紹：
1、作者正式釋出LLaMa-Lora-7B-3 和 LLaMa-Lora-7B-3-new 版本的LoRA模型權重，允許本地部署使用；
2、定時在arXiv上定時爬取cs.AI 、cs.CV 、cs.LG 論文的任務，作為模型語料
3、合計整理了220W+篇arXiv論文的元資訊，這些元資訊包括：title和abstract
4、文章标題生成效果見圖4
微調技術：
注：Instruct微調和LoRa微調是兩種不同的技術。
Instruct微調：
1、Instruct微調是指在深度神經網絡訓練過程中調整模型參數的過程，以優化模型的性能。
2、在微調過程中，使用一個預先訓練好的模型作為基礎模型，然後在新的資料集上對該模型進行微調。
3、Instruct微調是一種通過更新預訓練模型的所有參數來完成的微調方法，通過微調使其适用于多個下遊應用。
LoRa微調：
1、LoRa微調則是指對低功耗廣域網（LoRaWAN）中的LoRa節點參數進行微調的過程，以提高節點的傳輸效率。
2、在LoRa微調中，需要了解節點的硬體和網絡部署情況，并通過對節點參數進行微小調整來優化傳輸效率。
3、與Instruct微調相比，LoRA在每個Transformer塊中注入可訓練層，因為不需要為大多數模型權重計算梯度，大大減少了需要訓練參數的數量并且降低了GPU記憶體的要求。
4、研究發現，使用LoRA進行的微調品質與全模型微調相當，速度更快并且需要更少的計算。
5、是以，如果有低延遲和低記憶體需求的情況，建議使用LoRA微調。
