為了友善大家從整體了解人工智能訓練的過程，避免因為過多的概念影響對整體的了解，我們繪制了這張流程圖。
人工智能訓練過程圖
- 資料收集：收集用于訓練的資料，輸出原始資料（未經處理的資料集）
- 資料預處理：清洗和格式化資料，輸出預處理資料（适合模型訓練的資料）
- 模型初始化：設定模型的初始參數，輸出初始化模型（設定初始參數的模型）
- 模型訓練：使用資料訓練模型，輸出訓練模型（經過一輪訓練的模型）
- 模型評估：評估模型的性能，輸出評估結果（模型的性能名額）
- 模型優化：根據評估結果優化模型，輸出優化模型（經過優化的模型）
- 模型部署：将模型應用于實際環境，輸出最終模型（滿足要求的模型）
下圖是ChatGPT的工作流程簡圖：
ChatGPT工作流程簡圖
一、使用者輸入：使用者提供的原始輸入。
二、輸入處理：處理使用者的輸入，準備送入模型。
- 分詞器：将輸入的文本分解為可以被模型了解的小塊（token）。
- Tokenization：将輸入的文本轉換為token的過程。
三、ChatGPT模型：接收處理後的輸入，開始生成回複。
- Transformer模型：ChatGPT模型的核心部分，用于了解輸入和生成回複。
- 自注意力機制：Transformer模型的關鍵部分，用于了解輸入中的各個部分之間的關系。
- 多頭注意力：自注意力機制的一部分，允許模型同時關注輸入的多個部分。
- 縮放點積注意力：多頭注意力的一部分，計算輸入部分之間的關系。
- 生成回複：根據了解的輸入和學習到的模式，生成回複。
四、輸出處理：處理模型生成的輸出，準備展示給使用者。
- 反分詞器：将模型生成的token重新組合成人類可讀的文本。
- Detokenization：将token轉換回文本的過程。
五、使用者看到回複：使用者看到最終的回複。
Token樣例