核心观点
ChatGPT 能够自动生成一些读起来表面上甚至像人写的文字的东西，这非常了不起，而且出乎意料。但它是如何做到的? 为什么它能发挥作用? 我在这里的目的是大致介绍一下 ChatGPT 内部的情况，然后探讨一下为什么它能很好地生成我们认为是有意义的文本我首先要说明一下，我将把重点放在正在发生的事情的大的方向上，虽然我会提到一些工程细节，但我不会深入研究它们。(我所说的实质内容也同样适用于目前其他的“大型语言模型”LLM和 ChatGPT)
首先要解释的是，ChatGPT 从根本上说总是试图对它目前得到的任何文本进行“合理的延续”，这里的“合理”是指“在看到人们在数十亿个网页上所写的东西之后，人们可能会期望某人写出什么”
因此，假设我们已经得到了“人工智能最好的是它能去做的文本(“The best thing about AI is its ability to”) 。想象一下，扫描数十亿页的人类书写的文本 (例如在网络上和数字化书籍中) ，并找到这个文本的所有实例一然后看到什么词在接下来的时间里出现了多少
ChatGPT 有效地做了类似的事情，除了 (正如我将解释的) 它不看字面文本;它寻找在某种意义上“意义匹配”的东西。但最终的结果是，它产生了一个可能出现在后面的词的排序列表，以及“概率”
报告来源
免责声明：尊重知识产权，报告版权归原撰写发布机构所有；报告内容来源于网络，通过公开合法渠道获得，如涉及侵权，请及时告知我们删除；如对报告内容存疑，请与撰写、发布机构了解。