GPT的「驚人胃口」：1次訓練需要，3萬顆高端晶片，24億人民币！
最近，台積電突然忙起來了，因為接到了大量用于人工智能的晶片訂單。尤其是對于GPT這種需要極大計算資源的模型來說，其對晶片的需求簡直是驚人的。上一代GPT3.5就需要用到一種英偉達的高端GPU晶片，叫A100，一顆成本高達8萬人民币，而完成整個訓練過程，需要達到30,000顆之多！
相比之下，當年戰勝李世石的AlphaGO，隻需要用到176顆GPU。這就讓人不禁思考，随着GPT的成長，其胃口能夠增長到什麼程度？半導體行業是否能夠跟上？
再來看幾組資料：
1️⃣在2020年，OpenAI宣布了一個新的人工智能模型DALL-E，它可以生成視覺圖像。為了訓練DALL-E，OpenAI使用了一台由285,000個CPU核心和10,000個GPU組成的叢集，這些GPU包括Nvidia V100和A100。
2️⃣在2019年，Google宣布了一個新的人工智能模型BERT，它可以對自然語言進行了解和分析。為了訓練BERT，Google使用了一台由2,048個TPU（Tensor Processing Unit）組成的叢集，這些TPU晶片的總數是3,072個。
3️⃣在2018年，OpenAI宣布了GPT-2模型，它可以生成高品質的自然語言文本。為了訓練GPT-2，OpenAI使用了256個Nvidia V100 GPU。
GPT的驚人胃口也說明了半導體業已成為關鍵。随着人工智能應用場景的不斷擴大，對晶片的需求将會越來越大。「AI的盡頭，是半導體」此言不虛。
我是愛AI愛思考的梵高，也聽聽你的想法，歡迎關注點贊交流。
#我要上微頭條# #科技圈大小事#
