ChatGPT 插件系統，建構AI時代的新系統
這幾天基于OpenAI GPT4的新消息不斷，先有微軟旗下的github釋出了基于GPT4，更新了github copliot 為copliotX,而原來的api将于3月23号下線，但老使用者不受影響。不過昨天OpenAI确實放出一個核彈。OpenAI釋出了基于GPT4模型可建構萬物相連的插件系統。這就是從今年起我們正式邁入了智能作業系統時代。這具有劃時代意義，這就好比，當年的微軟作業系統以及ipone4出現一樣。那我們在這樣一個時代，應該充分了解，學習，應用新的技能，以在這個新時代中有所建樹。那下面我們就具體談談，OpenAI 插件系統都有哪些功能，對未來有什麼影響。
2023年3月23日，OpenAI 宣布正式上線了以安全為核心的 ChatGPT 插件系統。OpenAI 插件将 ChatGPT 連接配接到第三方應用程式，之後 ChatGPT 便能夠與開發人員定義的 API 進行互動，進而可以建構出基于 ChatGPT 模型的新的應用，這就可以建構一個開放的智能系統 ，主要包括：
- 檢索實時資訊，例如體育比賽成績、股票價格、最新消息等。
- 檢索知識庫資訊，例如公司檔案、個人筆記等。
- 代表使用者執行操作，例如訂機票、訂餐等。
目前，插件系統還處于 alpha 測試期，首批參與插件建立的廠商包括 Expedia、FiscalNote、Instacart、KAYAK、Klarna Shopping、Milo Family AI、OpenTable、Shopify、Slack、Speak、Wolfram 和 Zapier。
另外，OpenAI也建立了兩個插件，一個是網頁浏覽器，一個是代碼解釋器。我們還開源了一個知識庫檢索插件的代碼，這個插件可以由任何開發人員自己托管，他們可以用這些資訊來增強 ChatGPT。
OpenAI開放擴充插件 alpha 通路，讓通過申請的使用者和開發人員可以通路。OpenAI最初将優先考慮少數開發人員和 ChatGPT Plus 使用者，但後續計劃随着時間的推移推出更大規模的通路。。
OpenAI 表示，現在的語言模型雖然在各類任務中都能有所表現，但仍然有局限性。而模型提升自我的唯一途徑就是其訓練資料。但資料内容可能已經過時，而且模型往往“以偏概全”、“生搬硬套”。此外，語言模型唯一能夠開箱即用的輸出模式就是文本，雖然文本中包含實用說明，但要将其化為操作還需要經曆額外的過程。
OpenAI 将插件比喻成語言模型的“眼睛和耳朵”，能幫助模型通路因為較新、較個性化或較具體而不宜包含在訓練資料内的資訊。為了響應使用者的明确要求，插件還能幫助語言模型切實執行安全、受控的操作，進而提高整個系統的實用性
OpenAI希望開放标準的出現能夠統一應用程式通路Ai的開放接口的方式。他們正在進行這樣一個标準的早期嘗試，正在尋找有興趣與我們一起建構的開發人員的回報。
OpenAI 開始逐漸為 ChatGPT 使用者啟用早期合作者的現有插件，首先是 ChatGPT Plus 使用者。并開始為開發人員提供為 ChatGPT 建立自己的插件的能力。
在接下來的幾個月裡，當我們從部署中學習并繼續改進我們的安全系統時，我們将重複這個協定，我們計劃讓使用 OpenAI 模型的開發者能夠将插件內建到 ChatGPT 之外的他們自己的應用程式中。
ChatGPT插件系統怎麼樣？
我們先看下 OpenAI 自己托管的兩個插件表現如何。
1、浏覽器插件
一套知道該何時及如何浏覽網際網路的實驗性模型。
以往，ChatGPT 會禮貌地指出，其訓練資料中不具備充足的資訊，是以無法回答某些特定問題。但現在可以給出答案和相關連結了。
在 OpenAI 展示的示例中，ChatGPT 會檢索關于最新一屆奧斯卡頒獎典禮的資訊，再用其最擅長的“寫詩”能力加以改編。
除了為最終使用者提供顯著的實用性助益之外，OpenAI 認為，這種對語言和聊天模型全面可解釋性的研究，也将在可擴充性和對齊能力方面帶來令人興奮的前景。
2、代碼解釋器
一套可使用 Python 處理上傳和下載下傳的實驗性 ChatGPT 模型。
OpenAI 為模型開發了一個可在沙盒、防火牆執行環境中工作的 Python 解釋器，外加一些臨時磁盤空間。解釋器插件運作的代碼會在一個持久會話中進行評估，且該會話在聊天期間始終有效（具有上限逾時），後續調用可以互相建構。此外，還支援将檔案上傳至目前對話工作區，并下載下傳工作結果。
比如，當問到：一塊磚的重量是這塊磚自身 30% 的重量與 5 個 GPU 的重量之和，已知每噸重量包含了 100 塊磚和 200 個 GPU，那麼一塊磚的重量是多少?
ChatGPT 給出的答案是：一塊磚的重量是 7.8125 千克。
執行邏輯計算的代碼解釋器插件
從早期使用者研究來看，OpenAI 确定了代碼解釋器的幾種重要用途：
- 解決定量和定性類數學問題
- 進行資料分析和可視化
- 将檔案轉換為不同格式
OpenAI 表示，希望這套模型能夠運用自己的程式設計技能，為計算機中的基礎功能提供更自然的使用界面。剛剛上手的初級程式員可以在它的幫助下大大提高工作效率，同時也希望能讓更多閱聽人接觸并掌握程式設計技能。
3、第三方插件
一套知道該何時及如何使用插件的實驗性模型。
ChatGPT 中的第三方插件
第三方插件由 manifest 檔案做描述，其中包含對插件功能的機器可讀描述和調用方法，同時提供面向使用者的說明文檔。
待辦事項管理插件的 manifest 檔案示例
插件的建立步驟如下：
1、使用者使用希望語言模型調用的端點來建構 API（可以是新的 API、現有 API 或專為大語言模型設計的現有 API 打包器）。
2、為自己的 API 建立 OpenAPI 記錄規範，同時建立一個指向 OpenAPI 規範并包含插件特定中繼資料的 manifest 檔案。
在 chat.openai.com 上開始對話時，使用者可以指定想要啟用的第三方插件。關于已啟用插件的文檔，将作為對話上下文的一部分被送出給語言模型，讓模型能夠根據需求調用适當的插件 API 以實作使用者意圖。目前的插件主要考慮對後端 API 的調用，OpenAI 也在探索如何讓 API 調用用戶端 API。
當然OpenAI這次着重強調安全問題，不過在這裡就不展開讨論了，我覺得現在最重要的是功能有驚豔的表現在，就如微軟解散了其道德安全團隊一樣。
OpenAI 表示他們正在努力開發插件，并将它們帶給更廣泛的閱聽人。他們有很多東西要學，在大家的幫助下，希望建立一些既有用又安全的産品。
總之，通讀官方文檔後，感覺OpenAI插件系統的開放，這是一枚核彈。也可以看到微軟在手機系統失敗後，再次稱霸下一個時代的智能時代核心。最近基于GPT4的能力，全方位打造AI生态系統。可見微軟+OpenAI 是智能時代的“蘋果”,那誰将會是下一個”安卓”？最後再說下，最近AI科技發展迅猛，但是對中國使用者來說都很難首先體驗和試用，但國内在創新方面太欠缺。我們現在的應用都抄别人，現在整個IT生态系統,都是基于微軟window和蘋果生态系統 。國内還沒有比較好的生态系統。現在在微軟+OpenAI的引領下，也沒有什麼機會了。