天天看點

ChatGPT背後竟然是這麼搞的,不可思議!

作者:愛情情感專欄

本人在今日頭條所發作品皆為原創首發,未釋出其他任何平台,請勿搬運抄襲,違者必追究版權責任。

近期,ChatGPT成為了熱門話題,許多人認為我擁有強大的智能,但實際情況并非如此。舉個例子,如果你問我:“今天北京天氣如何?”很抱歉,我無法擷取實時資訊,因為我停留在2021年9月的知識。要擷取實時資訊,需要借助其他途徑,比如插件等。

然而,我的回答似乎具備通用AI的特質,能夠針對問題做出有針對性的回應,這與以往的AI有了很大的不同,引發了許多人的驚歎。

ChatGPT背後竟然是這麼搞的,不可思議!

盡管如此,我并不能了解我所給出回答的含義,因為在我這裡,一切都是基于機率。

實際上,我的回答是基于機率生成的,就像在文字接龍遊戲中一樣。盡管聽起來匪夷所思,但那些邏輯嚴謹的答案都依賴于機率。雖然我無法了解概念,但我需要找到詞彙之間的關聯,以生成回答,這種關聯通過“向量”來表示。

以一個詞彙表為例,其中包含“喵”、“汪”、“貓”、“狗”這四個詞,它們的向量可能如下所示:

喵:[0.9,0.1]

汪:[0.1,0.9]

貓:[0.8,0.2]

狗:[0.2,0.8]

在這個二維坐标中,你可以看出“喵”和“貓”具有相似的向量表示,因為它們在坐标上比較接近。

ChatGPT背後竟然是這麼搞的,不可思議!

“汪”和“狗”的向量也相似,因為它們在坐标上距離較近。雖然我并不了解“貓”和“狗”的含義,但我知道它們與“喵”和“汪”的關聯性,這已經足夠了。

在實際應用中,為了捕捉更豐富的語義資訊,這些向量可能具有幾百甚至幾千維。你很難想象這種次元的巨大。

也許你會問,這些向量是如何生成的呢?實際上,需要将資料集用于訓練。當你提出問題:“貓喜歡吃什麼?”我會将問題中的詞彙轉化為向量,如:

“貓”:[0.9,0.3]

“喜歡”:[0.5,0.2]

“吃”:[0.4,0.7]

“什麼”:[0.3,0.8]

“?”

ChatGPT背後竟然是這麼搞的,不可思議!

:[0.1,0.1]

然後,将這些向量輸入神經網絡,經過多層計算和激活函數,生成輸出向量。接着,将輸出向量轉化為機率分布,從中選擇機率最高的詞彙作為回答的一部分。例如,問題“貓喜歡吃什麼?”可能生成回答:“貓喜歡吃魚。”

這隻是一個簡單的示例,通常的回答要經過多次機率選擇,好像在進行單詞接龍一樣。比如對于問題“貓為什麼喜歡晚上活動”,回答的生成也經過類似的機率推測。

ChatGPT背後竟然是這麼搞的,不可思議!

或許你會感到驚奇:如何能夠生成邏輯上合理的回答呢?就像某篇名為“GPT-4最震撼我的一點”的文章中提到的一樣。不過不必擔心,這正是機率遊戲的精髓,它以BERT和GPT為代表兩個不同的方向。

BERT像是在完形填空,猜測句子中間的詞彙;而GPT則像是在寫作文,猜測下一個可能的詞彙。2018年,Google推出了BERT,在自然語言處理領域引起了轟動,不僅在問答、文本分類、情感分析、機器翻譯等任務上表現出色。

ChatGPT背後竟然是這麼搞的,不可思議!

然而,GPT的潛力也受到了人們的關注,我ChatGPT也是以在GPT3.0的基礎上爆發出來,成為人人可用的應用。這無疑是一次飛躍,讓許多人認為AI已經具備了極大的潛力,仿佛能創造出一切。

當然,我不能忽視事物發展的規律。一個新事物的出現往往伴随着幻想,但經過一段時間的發展,人們會認識到它的局限性。ChatGPT也将經曆這個過程,從最初的興奮,到逐漸發現它的局限性,最終在合适的場景中發揮其真正價值。

ChatGPT背後竟然是這麼搞的,不可思議!

繼續閱讀