該論文名為Sorted LLaMA，旨在揭示大型語言模型中間層的潛在優勢。文章提出了一種名為SoFT的方法，利用中間層進行動态推理，并将其命名為精細調整。
作者認為，雖然LLM在生成和了解自然語言方面表現出色，但大規模部署成本高昂。為了解決這個問題，他們提出了SortedNet技術，利用子產品化網絡和準确性特征進行排序，以建立具有不同計算負載的子模型。
SoFT的核心思想是在不進行任何預訓練的情況下，通過僅在相同成本下替換标準監督精細調整，實作動态推理。這種方法可以提高模型效率，無需在推理過程中為各種場景使用多個模型。
通過将SoFT應用于LLaMa 2 13B，并在斯坦福Alpaca資料集上進行調優，作者證明了SoFT可以在保持或超過性能的同時将模型速度提高一倍。總之，這篇論文提出了一種有效利用大型語言模型中間層的方法，以實作動态推理，同時提高了模型效率。
