4月19日，Meta釋出了最新的大語言模型LLaMA3，具體包括一個 8B 模型和一個 70 B 模型，上下文長度支援8K， 被譽為史上最強開源大語言模型，開源社群的“重磅炸彈”，效果直指GTP4。在諸多評測任務上，LLaMA3都有非常炸裂的效果。 8B模型在多項名額中超越了Gemma 7B和Mistral 7B Instruct，而70B模型則超越了閉源的Claude 3 Sonnet，和Gemini Pro 1.5。具體的評測報告可以參見： https://github.com/meta-llama/llama3/blob/main/eval_details.md
由于Llama 3 選擇了相對标準的純解碼器 Transformer 架構，根據各方資訊推測，性能提升主要來自資料品質的提升。一是使用了15T的預訓練資料，相比Llama 2提高了7倍，并且大幅提高了代碼的使用量，以增強模型的推理能力。二是使用了詞彙量為128K的标記器，相比Llama 2使用的 32K 标記器，改善了标記化的粒度。另外，在8B 和 70B 大小的模型上采用了分組查詢注意力 (GQA)，提高了Llama 3的推理效率。
開源社群對此反響強烈，短短5天，Hugging Face上已經有了1000多個變種，而且數字還在持續增長。
面對AI行業一波又一波的巨大事件，我們在贊美和焦慮之外，能做點什麼呢？雖說不上躬身入局，但總想讓稍微感受一下AI巨浪帶來的點點漣漪。不是有句老話說得好麼，不是AI取代人類，而是懂AI的人取代不懂AI的人。
于是我用百度找到了LLaMA3的體驗位址：https://www.meta.ai/。但當我在浏覽器輸入并等待了10分鐘後，我放棄了..... 網絡問題，無情的阻礙了我進步的腳步。 我再次打開百度，想試試能不能在本地安裝一個LLaMA3，但當我看到60G的模型大小，以及昂貴的GPU算力，以及各種程式報錯時，我又一次知難而退了。是堅持，還是放棄，這是個問題。。。。。
直到，我在京東雲上看到了這個産品.....
什麼？ 20分鐘，建構你自己的LLaMA3應用程式！
于是，我打開手機計時器，開始了我尋找AI浪花之旅
第一步，進入京東智算服務控制台： https://gcs-console.jdcloud.com/instance/list
第二步，點選建立按鈕購買GPU執行個體，注意計費方式一定選擇 “按配置” ，就是按使用時長進行計費，一個小時才1.89，充值2塊錢，就能玩2個小時，真是良心。 點選“立即購買”下單。
第三步，在執行個體清單頁面，等待執行個體狀态變為“運作中”，然後點選Jupyter進入AI的開發環境。
第四步，在Jupyter頁面中，點選進入Terminal終端，執行如下指令：
cp -r /gcs-pub/llama-factory/ /data/
第五步：在左側的目錄樹中，找到llama-factory/src/web_demo.py檔案，輕按兩下打開，然後把server_port修改為28888，Ctrl+S儲存這個修改。
第六步：再次打開剛才的終端，分别執行下面幾行指令：
cd /data/llama-factory
conda create -n liandan python=3.10 -y
conda activate liandan
pip install -e .[metrics]
CUDA_VISIBLE_DEVICES=0 python src/web_demo.py --model_name_or_path /gcs-pub/Meta-Llama-3-8B-Instruct --template llama3
這個平台的特點是速度特别快，比其他平台都快，幾分鐘後，我看到了勝利的曙光...
第七步： 在控制台執行個體清單頁面（https://gcs-console.jdcloud.com/instance/list），點選該執行個體的最後一欄，操作-應用-自定義應用，于是乎，LLaMA3就顯出了原型。
聽說這個平台還能無代碼直接啟動文生圖應用，等下次我再試試吧，現在要迫不及待的開始調戲LLaMA3啦，完美！
作者：京東科技 彭建宏
來源：京東雲開發者社群