小白也能看懂的chatGPT
陸續梳理一下，自己在了解chatGPT的過程中的一些内容
🌈1⃣，定義與來源
GPT（Generative Pre-trained Transformer）意為生成式預訓練Transformer模型，
具體來看：
①Transformer指用于NLP任務的一類基于注意力機制來提高模型效果的機器學習模型；
②Pre-trained指模型經過預訓練是以使用者可以直接使用；
③Generative指模型提供包含情感分析、語言翻譯、文本生成、命名實體識别等一些列NLP任務中的通用能力。
ChatGPT最核心的NLP能力由微調後的GPT-3.5模型（2020年釋出）提供。
2022年11月OpenAI上線了智能對話系統（聊天機器人）ChatGPT，它能夠了解自然的人類語言，并生成類似人類作答的書面文本，不僅可以幫助開發者解決編碼問題，也能充當詩人。✅
截至2022年12月7日ChatGPT擁有超過100萬使用者，這幫助ChatGPT通過人類對話擷取大量資料，進而學習人類複雜的語言模式與結構，獲得解釋使用者請求的預期結果的能力；相較于GPT-3.5，ChatGPT能夠輕松應對日常對話，主動承認錯誤，區分某些問題中的描述性錯誤，并拒絕不合理及不道德的請求。✅
🌈2⃣，ChatGPT的技術背景
能力提升來源于訓練路徑：基于大資料，通過RLHF不斷預訓練。據OpenAI官方披露，ChatGPT是在GPT-3.5系列模型的基礎上形成的，GPT-3.5模型于2022年初完成訓練。ChatGPT的訓練過程，是一個改進的instructGPT，
改進點主要是标注資料收集方法上的一些差異。其他方面，包括模型結構和訓練過程，基本遵循instructGPT。
在技術路線上，ChatGPT基于龐大資料量進行訓練，
引入了“手動标注資料+強化學習”
(RLHF，從人的回報進行強化學習）來不斷調整預訓練語言模型。該技術路徑大幅提升ChatGPT對人類意圖的了解，進而提升回答資訊的準确性。✅
ChatGPT具體訓練過程可分為三個階段
⏭見圖一✅
🌈3⃣，chatGPT背後離不開資料，模型和算力
⏭見圖二✅
🌈4⃣，ChatGPT算法疊代路徑
⏭見圖三✅
🌈5⃣，ChatGPT潛在商業模式
⏭見圖四✅
#Cha't'GPT# #人工智能#
