最近，关于GPT-4（第四代生成对抗网络）参数量高达100万亿的消息在社交媒体上引起了轰动。然而，OpenAI的CEO Sam Altman出来辟谣，称这是一条假消息，并表示对此一无所知。虽然AI社区近年来一直在增加模型的参数规模，但没有可靠的证据表明GPT-4将拥有如此庞大的参数量。
最近，乔治・霍兹（George Hotz）在一档名为Latent Space的AI技术播客中透露了一些关于GPT-4的信息。据他称，GPT-4实际上是一个混合模型，由8个专家模型组成的集成系统。每个专家模型都拥有2200亿个参数，略多于GPT-3的1750亿参数量。这些模型经过针对不同数据和任务分布的训练。
然而，对于GPT-4的真实参数量，OpenAI团队一直保持沉默，官方技术报告也没有透露任何信息。因此，关于GPT-4参数高达100万亿的说法仍存在怀疑。Twitter用户@Russell Thomas也指出，关于GPT-4参数量的数据是错误的，GPT-4的参数量只会比GPT-3稍微大一些。
尽管我们对OpenAI创造记录的能力感到惊叹，但关于GPT-4参数高达100万亿的消息仍需持怀疑态度。目前还没有足够可靠的来源来证实这一说法
在播出后，PyTorch的创建者Soumith Chintala表示自己好像听过同样的"传闻"，而且很多人可能也听说过这个消息，但只有George Hotz在公开场合提到了这一点。这暗示着George Hotz的言论引起了广泛的关注，并且有一些人似乎在私下里讨论着GPT-4参数量的可能性。然而，这并不能作为确凿的证据，因为仍然缺乏官方的、可靠的信息来证实GPT-4的参数量。
杰西·伍德(Jesse Wood)表示：它至少比他们的 LLaMA-65B 大 10 倍。
还有网友表示：GPT-4的超一致性可能体现了MoE在聚合阶段的投票机制。
小编认为对于未来的趋势，各大科技巨头将会采用训练规模较小的模型，并通过长时间的微调和发现各种技巧来提升性能。与过去相比，尽管计算资源没有改变，但训练效果明显提升，这表明训练方法的改进起到了重要的作用。
PS:如果还有小伙伴还没有用上ChatGPT可以私信小编，手把手教会您使用。