原文作者：IOSG Ventures
原文來源：IOSG Ventures
4月17日，IOSG Ventures 第十二屆老友記（Old Friends Reunion）如期舉行，本次活動主題為《Singularity: AI x Crypto Convergence》, 是以，我們也邀請了行業中正在嶄露頭角的傑出代表。這次聚會的目的是讓參與者共同探讨人工智能和加密貨币領域的融合之處，以及這種融合對未來的影響。在這樣的活動中，與會者有機會分享他們的見解、經驗和想法，進而促進行業内的合作與創新。
接下來是本次活動的Keynote之一，由來自 IOSG Ventures的 Portfolio NEAR Protocol的聯合創始人 Illia Polosukhin 為大家帶來《Why AI Needs to be Open - 為何AI需要Web3》
Why AI Needs to be Open
讓我們來探讨一下“為什麼人工智能需要開放”。我的背景是Machine Learning，在我的職業生涯中大約有十年的時間一直在從事各種機器學習的工作。但在涉足Crypto、自然語言了解和創立NEAR之前，我曾在谷歌工作。我們現在開發了驅動大部分現代人工智能的架構，名為Transformer。離開谷歌之後，我開始了一家Machine Learning公司，以便我們能夠教會機器程式設計，進而改變我們如何與計算機互動。但我們沒有在2017或者18年這樣做，那時候太早了，當時也沒有計算能力和資料來做到這一點。
我們當時所做的是吸引世界各地的人們為我們做标注資料的工作，大多數是學生。他們在中國、亞洲和東歐。其中許多人在這些國家沒有銀行賬戶。美國不太願意輕易彙款，是以我們開始想要使用區塊鍊作為我們問題的解決方案。我們希望以一種程式化的方式向全球的人們支付，無論他們身在何處，都能讓這變得更加容易。順便說一句，Crypto的目前挑戰是，現在雖然NEAR解決了很多問題，但通常情況下，你需要先購買一些Crypto，才能在區塊鍊上進行交易來賺取，這個過程反其道而行了。
就像企業一樣，他們會說，嘿，首先，你需要購買一些公司的股權才能使用它。這是我們NEAR正在解決的很多問題之一。現在讓我們稍微深入讨論一下人工智能方面。語言模型并不是什麼新鮮事物，50年代就存在了。它是一種在自然語言工具中被廣泛使用的統計工具。很長一段時間以來，從2013年開始，随着深度學習重新被重新啟動，一種新的創新就開始了。這種創新是你可以比對單詞，新增到多元度的向量中并轉換為數學形式。這與深度學習模型配合得很好，它們隻是大量的矩陣乘法和激活函數。
這使我們能夠開始進行先進的深度學習，并訓練模型來做很多有趣的事情。現在回顧起來，我們當時正在做的是神經元神經網絡，它們在很大程度上是模仿人類的模型，我們一次可以讀取一個單詞。是以，這樣做速度非常慢，對吧。如果你試圖在Google.com上為使用者展示一些内容，沒有人會等待去閱讀維基百科，比如說五分鐘後才給出答案，但你希望馬上得到答案。是以，Transformers 模型，也就是驅動ChatGPT、Midjourney以及所有最近的進展的模型，都是同樣來自這樣的想法，都希望有一個能夠并行處理資料、能夠推理、能夠立即給出答案。
是以這個想法在這裡的一個主要創新是，即每個單詞、每個token、每個圖像塊都是并行處理的，利用了我們具有高度并行計算能力的GPU和其他加速器。通過這樣做，我們能夠以規模化的方式對其進行推理。這種規模化能夠擴大訓練規模，進而處理自動訓練資料。是以，在此之後，我們看到了 Dopamine，它在短時間内做出了驚人的工作，實作了爆炸式的訓練。它擁有大量的文本，開始在推理和了解世界語言方面取得了驚人的成果。
現在的方向是加速創新人工智能，之前它是一種資料科學家、機器學習工程師會使用的一種工具，然後以某種方式，解釋在他們的産品中或者能夠去與決策者讨論資料的内容。現在我們有了這種 AI 直接與人交流的模式。你甚至可能都不知道你在與模型交流，因為它實際上隐藏在産品背後。是以，我們經曆了這種轉變，從之前那些了解AI 如何工作的，轉變成了了解并能夠将其使用。
是以，我在這裡給你們一些背景，當我們說我們在使用GPU來訓練模型時，這不是我們桌面上玩視訊遊戲時用的那種遊戲GPU。
每台機器通常配備八個GPU，它們都通過一個主機闆互相連接配接，然後堆疊成機架，每個機架大約有16台機器。現在，所有這些機架也都通過專用的網絡電纜互相連接配接，以確定資訊可以在GPU之間直接極速傳輸。是以，資訊不适合CPU。實際上，你根本不會在CPU上處理它。所有的計算都發生在GPU上。是以這是一個超級計算機設定。再次強調，這不是傳統的“嘿，這是一個GPU的事情”。是以規模如GPU4的模型在大約三個月的時間裡使用了10,000個H100進行訓練，費用達到6400萬美元。大家了解目前成本的規模是什麼樣的以及對于訓練一些現代模型的支出是多少。
重要的是，當我說系統是互相連接配接的時候，目前H100的連接配接速度，即上一代産品，是每秒900GB，計算機内部 CPU 與 RAM 之間的連接配接速度是每秒 200GB，都是電腦本地的。是以，在同一個資料中心内從一個GPU發送資料到另一個GPU的速度比你的計算機還快。你的計算機基本上可以在箱子裡自己進行通信。而新一代産品的連接配接速度基本上是每秒1.8TB。從開發者的角度來看，這不是一個個體的計算單元。這些是超級計算機，擁有一個巨大的記憶體和計算能力，為你提供了極大規模的計算。
現在，這導緻了我們面臨的問題，即這些大公司擁有資源和能力來建構這些模型，這些模型現在幾乎已經為我們提供了這種服務，我不知道其中究竟有多少工作，對吧？是以這就是一個例子，對吧？你去找一個完全集中式的公司提供者，然後輸入一個查詢。結果是，有幾個團隊并不是軟體工程團隊，而是決定結果如何顯示的團隊，對吧？你有一個團隊決定哪些資料進入資料集。
舉個例子，如果你隻是從網際網路上爬取資料，關于巴拉克·奧巴馬出生在肯亞和巴拉克·奧巴馬出生在夏威夷的次數是完全相同的，因為人們喜歡猜測争議。是以你要決定要在什麼上進行訓練。你要決定過濾掉一些資訊，因為你不相信這是真的。是以，若像這樣的個人已經決定哪些資料會被采用且存在這些資料，這些決定在很大程度上是由做出它們的人所影響的。你有一個法律團隊決定我們不能檢視哪些内容是受版權保護，哪些是非法的。我們有一個“道德團隊”決定什麼是不道德的，我們不應該展示什麼内容。
是以在某種程度上，有很多這樣的過濾和操縱行為。這些模型是統計模型。它們會從資料中挑選出來。如果資料中沒有某些内容，它們就不會知道答案。如果資料中有某些内容，它們很可能會将其視為事實。現在，當你從AI得到一個回答時，這可能會令人擔憂。對吧。現在，你理應是從模型那裡得到回答，但是沒有任何的保證。你不知道結果是如何生成的。一個公司可能會把你的特定會話賣給出價最高的人來實際改變結果。想象一下，你去詢問應該買哪種車，豐田公司決定覺得應該偏向豐田這個結果，豐田将支付這家公司10美分來做到這一點。
是以，即使你将這些模型用作應該中立并代表資料的知識庫，實際上在你得到結果之前，會發生很多事情，這些事情會以一種非常特定的方式對結果進行偏見。這已經引發了很多問題，對吧？這基本上就是大公司和媒體之間不同法律訴訟的一個星期。SEC，現在幾乎每個人都在試圖起訴對方，因為這些模型帶來了如此多的不确定性和權力。而且，如果往前看，問題在于大型科技公司将永遠有繼續增加收入的動機，對吧？比如，如果你是一家上市公司，你需要報告收入，你需要繼續保持增長。
為了實作這一目标，如果你已經占據了目标市場，比如說你已經有20億使用者了。在網際網路上已經沒有那麼多新使用者了。你沒有太多的選擇，除了最大化平均收入，這意味着你需要從使用者那裡提取更多的價值，而他們可能根本沒有什麼價值，或者你需要改變他們的行為。生成式人工智能非常擅長于操縱和改變使用者的行為，特别是如果人們認為它是以一切知識智能的形式出現的。是以，我們面臨着這種非常危險的情況，在這種情況下，監管壓力很大，監管機構并不完全了解這項技術的工作原理。我們幾乎沒有保護使用者免受操縱的情況。
操縱性内容、誤導性内容，即使沒有廣告，你也可以隻是截取一些東西的螢幕截圖，改變标題，釋出到Twitter上，人們就會發瘋。你有經濟激勵機制，導緻你不斷地最大化收入。而且，這實際上不像在谷歌内部你是在做惡事，對吧？當你決定啟動哪個模型時，你會進行A或B測試，看看哪個能帶來更多收入。是以，你會通過從使用者那裡提取更多價值來不斷地最大化收入。而且，使用者和社群并沒有對模型的内容、使用的資料以及實際嘗試實作的目标有任何輸入。這就是應用程式使用者的情況。這是一種調節。
這就是為什麼我們要不斷推動WEB 3和AI融合的原因，web 3 可以是一種重要的工具，它允許我們有新的激勵方式，并且還是以去中心化的形式去激勵我們生産更好的軟體和産品。這是整個web 3 AI 開發的大方向， 現在為了幫助了解細節，我會簡單講一下具體的部分，首先第一部分是Content Reputation。
再次強調，這不是一個純粹的人工智能問題，盡管語言模型為人們操縱和利用資訊帶來了巨大的影響力并擴大了規模。你想要的是一種可以追蹤的、可追溯的加密聲譽，當你檢視不同的内容時，它會顯現出來。是以想象一下，你有一些社群節點，它們實際上是加密的，并且在每個網站的每個頁面上都可以找到。現在，如果你超越這一點，所有這些分發平台都将會受到幹擾，因為這些模型現在幾乎将閱讀所有這些内容并為你提供個性化摘要和個性化輸出。
是以，我們實際上有機會創造新的創造性内容，而不是試圖重新發明，讓我們在現有内容上加上區塊鍊和NFTs。圍繞模型訓練和推理時間的新創作者經濟，人們創造的資料，無論是新的出版物、照片、YouTube、還是你創作的音樂，都将進入一個基于其對模型訓練的貢獻程度的網絡。是以，根據這一點，根據内容可以在全球範圍内獲得一些報酬。是以，我們從現在由廣告網絡推動的吸引眼球的經濟模式過渡到了真正帶來創新和有趣資訊的經濟模式。
我想提一件重要的事情，那就是大量的不确定性來自浮點運算。所有這些模型都涉及大量的浮點運算和乘法。這些都是不确定性的操作。
現在，如果你将它們在不同架構的GPU上進行乘法運算。是以你拿一個A100和一個H100，結果會有所不同。是以，很多依賴确定性的方法，比如加密經濟和樂觀主義，實際上會遇到很多困難，并且需要很多創新才能實作這一點。最後，有一個有趣的想法，我們一直在建構可程式設計貨币和可程式設計資産，但是如果你能想象一下，你給它們添加這種智能，你就可以有智能資産，它們現在不是由代碼定義的，而是由自然語言與世界互動的能力來定義，對吧？這就是我們可以有很多有趣的收益優化、DeFi，我們可以在世界内部進行交易政策。
現在的挑戰在于所有目前事件都不具備強大的Robust行為。它們并沒有被訓練成具有對抗性的強大性，因為訓練的目的是預測下一個token。是以，說服一個模型給你所有的錢會更容易。在繼續之前，實際上解決這個問題非常重要。是以我就給你留下這個想法，我們處在一個十字路口上，對吧？有一個封閉的人工智能生态系統，它有極端的激勵和飛輪，因為當他們推出一個産品時，他們會産生大量的收入，然後把這些收入投入到建設産品中。但是，該産品天生就是為了最大化公司的收入，進而最大化從使用者那裡提取的價值。或者我們有這種開放、使用者擁有的方法，使用者掌控着局面。
這些模型實際上對你有利的，試圖最大化你的利益。它們為你提供了一種方式，真正保護你免受在網際網路上的許多危險。是以這就是為什麼我們需要AI x Crypto更多的開發和應用。謝謝大家。