「人工智能」不可錯過的主流大語言模型的技術原理細節圖文分享

大綱

一、大語言模型的細節

transformer 與 LLM

1.1 模型結構

1.2 訓練目标

1.3 tokenizer

1.4 位置編碼

1.5 層歸一化

1.6 激活函數

1.7 Multi-query Attention 與 Grouped-query Attention

1.8 并行 transformer block

1.9 總結-訓練穩定性

二、LLM 的分布式預訓練

點對點通信與集體通信

2.1 資料并行

2.2 張量并行

2.3 流水線并行

2.4 3D 并行

2.5 混合精度訓練

2.6 激活重計算

2.7 ZeRO，零備援優化器

2.8 CPU-offload，ZeRO-offload

2.9 Flash Attention

2.10 vLLM: Paged Attention

三、LLM 的參數高效微調

為什麼進行參數高效微調？

3.1 prompt tuning

3.2 prefix tuning

3.3 adapter

3.4 LLaMA adapter

3.5 LoRA

3.6 實驗比較