編輯：LRS
【新智元導讀】一個簡單的量化操作，讓你運作大規模語言模型的GPU需求量直接降低一半！
大型語言模型（LLM）雖然性能強勁，但動辄幾百上千億的參數量，對計算裝置還是記憶體的需求量之大，都不是一般公司能承受得住的。
量化（Quantization）是常見的壓縮操作，通過降低模型權重的精度（如32bit降為8bit），犧牲一部分模型的性能來換取更快的推理速度，更少的記憶體需求。
但對于超過1000億參數量的LLM來說，現有的壓縮方法都無法保持模型的準确率，也無法在硬體上高效地運作。
最近，麻省理工學院和英偉達的研究人員聯合提出了一個通用後訓練的量化（GPQ, general-purpose post-training quantization）方案SmoothQuant，對大型語言模型可以高效實作8-bit權重，8-bit激活（W8A8）的量化，無需訓練也能保持模型的準确率。
論文連結：https://arxiv.org/pdf/2211.10438.pdf
代碼連結：https://github.com/mit-han-lab/smoothquant
由于激活相比權重更難量化，SmoothQuant通過數學等價變換将較難量化的激活遷移到權重上，實作了對激活異常值（activation outliers）的平滑處理。
SmoothQuant能夠對所有LLM的各種層中權重和激活量化到INT8，包括OPT-175B, BLOOM-176B和GLM-130B。
相比現有方法僅對權重進行靓貨，或者對激活進行混合精度的量化，SmoothQuant有更高的硬體效率，實作了1.56倍加速，記憶體需求僅為原始LLM的一半，并且在準确率上幾乎沒有損失。
SmoothQuant同時具有硬體友好的設計，研究人員将SmoothQuant內建進了LLM服務架構FasterTransformer中，實作了更快的推理速度，相比FP16的精度僅需一半數量的GPU
文章的第一作者肖光烜是MIT EECS的一年級博士生，大學畢業于清華大學計算機科學與技術學院。
導師Song Han是MIT EECS的副教授，博士畢業于斯坦福大學，主要研究方向為高效深度學習，曾提出深度壓縮（deep compression）技術，可以将神經網絡的尺寸降低一個數量級，而不損失準确率。
SmoothQuant
量化（Quantization）就是把高精度的值映射到更低精度的離散值，在這篇論文中研究人員主要關注對硬體更高效的整數均勻量化（integer uniform quantization），尤其是INT8。
量化操作可以在不同的粒度上執行，如per-tensor量化應用于整個權重矩陣，per-token量化應用于激活中的每個token，per-channel量化應用于權重的每個輸出通道。
通過對激活的量化結果進行觀察，研究人員總結出了幾個模式：
1、量化比權重更難量化。
權重的分布相對更加均勻和平坦，之前的研究結果已經證明将大型語言模型的權重降低到INT8，甚至到INT4對準确率的影響都不大。
2、異常值是激活量化中的主要難點。
激活中的異常值通常比正常值要高出100倍左右，導緻沒有異常值通道中的量化bits/levels效率很低。
3、異常值固定在某一通道中出現。
異常值隻在很小一部分的通道中才會出現，但如果一個通道中有一個異常值，那該異常值可能會在所有的token中出現。
給定一個token中所有通道的方差會很大（一些通道會非常大，但大部分很小），但是給定一個通道在所有token度中的方差會很小（異常值通道會很大）。
由于異常值具有持續出現和每個通道内小方差的特點，那如果對激活執行per-channel量化，其量化誤差将會遠遠小于per-tensor量化。
通過一個簡單的實驗，其結果再次驗證了研究人員的想法，量化到INT8時，per-channel的準确率遠遠高于per-tensor和per-token量化，和FP16基線準确率相差無幾。
研究人員通過使用一個per-channel平滑因子s來将輸入激活進行平滑(smooth)。為了保持線性層的數學等價，還需要反向縮放權重。
由于輸入X通常是由之前的線性操作生成的（如線性層、層norms等），是以就可以很容易地将平滑因子融合到之前層的參數offline，而且不會産生額外縮放的核心調用開銷。對于其他情況，比如當輸入來自殘差add時，可以向殘差分支添加一個額外的縮放。
将量化難度從激活轉移到權重
Smooth的目标是選擇一個per-channel的平滑因子s，使該逆操作更易于量化。
為了減少量化誤差，應該增加所有通道的有效量化比特。當所有通道的最大magnitude相同時，總的有效量化位數将是最大的。
是以，一個最直接的平滑因子選擇就是輸入中每個通道的最大值，可以保證在劃分之後，所有的激活通道都有相同的最大值，進而實作更容易的量化。
但需要注意的是，激活的範圍是動态的，對于不同的輸入樣本是不同的。是以研究人員使用預訓練資料集中的校準樣本來估計激活通道的規模。
由于這個公式将所有的量化困難遷移給了權重，可以發現在這種情況下，權重的量化誤差會很大，導緻準确性下降很多。
另一方面，也可以通過選擇sj = 1/ max(|Wj |)，将所有的量化難度從權重推到激活上。同樣，由于激活量化誤差過大，模型的性能也不好。是以需要在權重和激活之間分割量化難度，使它們都易于量化。
研究人員引入一個超參數遷移強度α，來控制要從激活遷移到權重的難度。
可以發現，對于大多數模型，例如OPT和BLOOM模型，α=0.5是一個很好的平衡點，可以平均配置設定量化難度，特别是使用相同的量化器進行權重和激活。
該公式保證了相應通道的權重和激活具有相似的最大值，進而共享相同的量化難度。
對于其他一些激活異常值比較大的模型，例如GLM-130B有30%的異常值，這對激活量化來說比較困難，可以選擇一個較大的α（如0.75），将更多的量化難度遷移到權重上。
SmoothQuant應用于Transformer塊
線性層占據了LLM模型的大部分參數和計算。在預設情況下，SmoothQuant對Transformer中所有線性層的輸入激活進行比例平滑，并用W8A8對線性層進行量化，在注意力計算中啟用了BMM運算符的量化。
在流程中，首先用INT8對線性層和注意力層中的BMM等計算量大的運算符的輸入和權重進行量化，而對其他輕量級元素的運算，如Softmax和LayerNorm，保持激活為FP16，這樣的設計有助于平衡準确性和推理效率。
實驗部分
研究人員選擇了三個大型語言模型用來評估SmoothQuant，包括OPT, BLOOM和GLM-130B；并使用七個zero-shot任務，包括LAMBADA, HellaSwag, PIQA, WinoGrande, OpenBookQA, RTE, COPA等。
實驗結果顯示SmoothQuant可以處理非常大的LLM的量化問題，其激活更難量化。
SmoothQuant可以在所有評估資料集上比對FP16的準确性，而W8A8、ZeroQuant和Outlier Suppression基線産生的結果幾乎是随機的。
并且SmoothQuant可以無損地量化所有超過100B參數的開放式LLMs
SmoothQuant的O1和O2級成功地保持了浮點精度，而O3級（per-tensor static）使平均精度下降了0.8%，可能是因為靜态收集的統計資料與真實評估樣本的激活統計資料之間的差異。
盡管如此，SmoothQuant-O1可以與FP16的準确性相比對，而SmoothQuant-O3隻降低了1%的準确性，明顯優于基線。
SmoothQuant不僅對超過100B參數的非常大的LLM有效，而且對較小的LLM也有穩定的效果，SmoothQuant可以在所有規模的OPT模型上工作，并與INT8量化的FP16精度相比對。
為了展示內建到PyTorch和FasterTransformer中的SmoothQuant-O3的速度提升和記憶體節省，研究人員我們測量了一次生成一批4個句子的所有隐藏狀态的端到端延遲，也就是context階段的延遲，并記錄了這個過程中GPU記憶體使用的峰值。
由于Huggingface缺乏對模型并行的支援，是以研究人員隻測量了SmoothQuant在單個GPU上的PyTorch實作的性能，是以選擇了OPT-6.7B、OPT-13B和OPT-30B進行評估。
在FasterTransformer庫中，SmoothQuant可以與Tensor Parallelism算法無縫對接，是以研究人員在OPT-13B、OPT-30B、OPT-66B和OPT-175B上測試SmoothQuant的單GPU和多GPU基準。
在NVIDIA A100 80GB GPU伺服器上進行的實驗結果顯示，基于PyTorch實作的推理延遲和峰值記憶體使用上，SmoothQuant始終比FP16基線快，當序列長度為256時，在OPT-30B上獲得了1.51倍的速度提升。
還可以看到一個趨勢，即模型越大，加速越明顯，但LLM.int8()幾乎總是比FP16基線慢，這也是由于混合精度激活表示的巨大開銷造成的。
在記憶體方面，SmoothQuant和LLM.int8()都可以将FP16模型的記憶體用量幾乎減半，而SmoothQuant由于完全使用INT8 GEMM，是以節省的記憶體稍多。
與FasterTransformer對OPT的FP16實作相比，SmoothQuant-O3在使用單個GPU時可以進一步降低OPT-13B和OPT-30B的執行延遲，最高可達1.56倍。
參考資料：
https://www.reddit.com/r/MachineLearning/comments/z1b2rp/r_smoothquant_accurate_and_efficient_posttraining/