美西時間11月6日，OpenAI舉辦首次開發者大會。短短45分鐘，OpenAI連續釋出了多個新的産品及功能，包括新模型GPT4-Turbo、使用者可自定義的GPT、全新Agent架構Assistant API等。這裡，我們剖析它給AI生态帶來哪些沖擊，以及這些沖擊如何重塑未來的創業格局。
01 DevDay重要資訊一覽
本次DevDay, OpenAI釋出的重磅功能/産品主要包括：
新模型GPT4-Turbo
- 更長Context：更新到128K，相當于300頁的書。
- 更便宜：與GPT4相比，GPT-4 Turbo整體價格整體下降2.75倍。
- 更準确：開發者可以對模型有更多控制，引入JSON，可調用多個函數，引入可重制輸出讓模型輸出更穩定，準确定更高；知識庫更新至2023年4月。
- 多模态API：多模态視覺、DALL·E 3和語音合成API一起開放。
- 此外，OpenAI還開放了對GPT4的微調。
GPT Builder & GPT Store ——圍繞ChatGPT建構應用生态
- 使用者可以通過自然語言互動定制ChatGPT，不需要寫任何代碼。使用者自定義的GPTs支援使用者自有的資料、資訊與基礎模型結合，同時連接配接API執行任務，如寫郵件、收發短信、管理資料庫等。
- 稍後會推出GPT Store，形成一個圍繞ChatGPT的應用生态。OpenAI會将收入與開發者分成。
Assistant API——面向開發者做應用内的Agent
Assistant API幫助開發者在自己的應用中建構Agent，相當于官方推出的基于大模型的Agent開發架構，其中包括：持久且無限長的thread、Retrieval、Code interpretor以及Function Calling等。
02 解析DevDay
OpenAI作為AI領域最受矚目的領頭羊，其一舉一動都牽動着行業未來的走向。分享下我們對本次DevDay的觀察。
目前OpenAI的戰略已經非常清晰，是兩條腿走路：一是提升基礎模型能力（劍指AGI），二是建構開發者生态和應用平台。本次“開發者”大會重點在于後者，預計明年GPT5釋出會可能會更聚焦于前者。此次釋出的新産品/功能——更長Context、JSON Mode、可自定義GPT、Assistant API、多模态API等，都是賦能開發者更輕松、靈活、高效地開發應用。OpenAI之是以在意應用生态的建構，是希望在早期階段盡量多地占據使用者場景、擴大使用者基數，我們認為，這背後OpenAI最看重的東西，是對它的基礎大模型的使用。目前大模型頭部玩家拼搶的最重要資源是算力和資料，而建構開發者生态、讓更多開發者創造出更好的産品、讓使用者源源不斷地湧入生态，是基礎。
OpenAI通過GPT Builder和GPT Store搭建ChatGPT的應用生态。這其實是對年初釋出的ChatGPT Plugin Platform的一次改版更新。Plugin Platform的意圖是将ChatGPT打造成超級流量入口，使用者通過plugin在ChatGPT内完成各項任務，而ChatGPT成為一個大的流量分發平台。但Plugin在落地使用上遇到了種種問題，并未真正火起來。這次GPT Builder以及随後即将推出的GPT Store仍然是瞄準流量分發這一目标，不過改換了形式：在使用者側，是以“應用分發”的形式呈現一個個應用（而非讓使用者自己挑選相關插件），使用者的體驗更好。從開發者角度，也提供了更大的靈活度。開發者可以在一個Custom GPT裡整合更多相關資訊、API調用等，對比plugin，更有可能完整解決使用者在某一場景中的問題。同時，它的利益配置設定機制也更加明确。GPT Store能否成為像App Store一樣改變行業還尚待觀察，不過，這已經給那些原本做“GPT套殼”的項目帶來比較大的威脅，比如基于2B、2C知識庫做問答客服的項目，現在使用者可以輕松地通過GPT Builder建構類似的應用。
Assistant API的釋出，實際上是為開發者提供了基于LLM的Agent開發架構，讓開發更加靈活高效。這也大大擠壓了許多基于LLM的開源應用開發架構的生存空間。一個公司的長期價值，在于要麼它擁有大模型，要麼擁有應用（使用者/場景/資料）。兩者都沒有掌控的公司，它的生存空間和價值在未來會急劇減小。
03 DevDay對創業格局的沖擊和重塑
算力是目前影響大模型自身進化速度的核心因素，而能否建立起生态是決定大模型公司商業化成敗的關鍵。作為目前最為領先的大模型公司，OpenAI積累了雄厚的資金實力和基礎設施支援，在算力上有優勢；而此次DevDay也展示了其通過建構開發者生态和應用平台迅速擴大使用者基礎、增加市場佔有率的野心。這将對整個AI生态和創業格局産生比較大的影響。我們從最為關心的幾個方面，包括大模型層的開源/閉源、應用層的Agent架構和開發者工具、以及一直在讨論的向量資料庫等，分享下我們的思考。
大模型層：開源 vs 閉源
開源模型與開源基礎軟體有個根本性的不同，即衆多開發者對前者的貢獻非常有限。基礎軟體的開源是開發者們都可以在其中貢獻代碼，把軟體打磨得越來越完善。但開源模型是開放使用，開發者可以做一些周邊的工具，但對模型本身（從資料到算法）做不了貢獻，改不了模型。這樣無法建立使用者資料的回報閉環，沒有開源軟體“衆人拾柴火焰高”的生态效應。
閉源模型始終領先于開源模型，OpenAI讓這個差距變得更大。
- 影響大模型發展核心的資源是算力與規模，開源模型均處于劣勢。算力上的劣勢主要在于沒有足夠的資本投入，OpenAI在開發者生态和應用平台的發力，讓它占據更多的使用者、落地場景、資料和市場佔有率。是以，OpenAI在性能上将始終領先于開源模型。即便從現狀看，開源模型跟OpenAI的性能差距還是相當大的，推理同樣的事情，前者的幻覺更多、對确定性事情的拆解更差。OpenAI 新模型的釋出隻會讓這個差距變得更大。
- OpenAI成本下降和企業版本的支援，會進一步吞食開源模型的市場空間。雖然開源模型在性能上無法匹敵閉源模型，但勝在“便宜”與“安全”（友善微調并做私有化部署）。但本次DevDay，我們看到OpenAI成本在快速下降。未來随着OpenAI技術提升和規模擴大，閉源模型成本将進一步降低。而從資料安全性角度來看，OpenAI通過與微軟Azure的合作，來保證企業級客戶的資料安全。在海外，許多中大企業資料本身就在Azure上，對于Azure的資料保護是有信任的。OpenAI的成本下降和資料安全保護，會進一步擠壓開源模型的生存空間。
那麼，開源模型的未來在哪裡？我們認為，是它的小規模、定制化。未來，通用大模型會成為水電煤一樣的基礎設施，其中最好的一兩家勝出，占據絕大部分市場。開源模型則可以應用于為一些特定領域/垂直場景下提供定制化服務。
- 小的開源模型有應用價值。開源模型的主要場景，是為了資料安全，企業在公司内部部署。這個場景下成本非常關鍵——沒有幾家企業會有大量的顯示卡來host模型，大的開源模型成本效益也不合算。Llama2 7B模型在單卡上可以跑起來，這是對企業使用場景成本效益最好的，也是應用最廣的。
- 定制化DIY。閉源模型是個通用的基礎設施，它的定制難度很大（除非隻是簡單的定制，比如DevDay上的GPT builder demo，涉及複雜流程的則會困難很多）。在特定領域的場景要做一些定制化，使用開源模型會更靈活。
我們觀察到，目前有些創業公司一般先用OpenAI GPT做驗證，一旦驗證成功，再用開源模型訓練一個更小的模型，在垂直任務上達到GPT的類似水準。開源和閉源一定會共存，服務不同的場景和使用者。
應用層：AI Agent
AI Agent是今年下半年AI領域最受關注的創業方向，有大量相關創業公司拿到融資。從年中到現在，GitHub上爆火的AI Agent架構也不在少數——從最初的AutoGPT到最近最火的AutoGen。而Assitant API的推出無疑給目前熱鬧的市場投下一枚重磅炸彈，将可能重塑AI agent領域的格局。
具體而言，當下LLM based AI Agent領域的創業公司可大緻分為如下兩類：
- 中間層infra：主要提供實用可複用的 agent架構，降低開發 agent 的複雜度，并為 Agent 的合作提供機制設計。主要從子產品化、适配性、協作等幾方面進行創新。
- Vertical Agent：深入某個垂直領域，了解該領域專家的工作流，運用 agent 思路設計 Copilot 産品，使用者介入使 agent 思路更為可控。快速形成 PMF 開始累積使用者資料。
随着Assitant API的推出，我們認為，大量Agent架構公司将失去存在價值，開發者會因為生态便利性等原因轉移到OpenAI的官方架構之下；而Vertical Agent類的創業公司則不會受到太大影響，其核心原因還是在于“資料壁壘”。
我們對AI Agent在具體生産場景的落地做了很多調研，發現在垂直領域中，建立相應的“世界模型”是做好AI Agent的核心關鍵。Agent落地要了解當下任務并預測未來情景，需要超越簡單的文本學習，深入擷取領域知識、領域相關的私有資料以及相關任務的“過程資料”（領域專家是如何分解任務、産生結果的）。這些資料是大模型所難以擷取的，尤其是“過程資料”，許多甚至還隻存在在相應崗位專家的大腦裡。這需要相關公司做大量的工作收集、整理、了解具體業務的工作流等等，是一個相當複雜的系統工程。尤其在法律、醫療、金融等資料龐雜、專業性極高的領域，并不是”大模型套殼“就能解決的。是以，一旦有Vertical Agent的公司能夠建立、掌握這些垂直行業的”世界模型“，也就擁有了在這個不确定時代極強的競争壁壘。我們依然非常看好這類創業公司在未來的前景。
創業方向選擇
由AI Agent創業格局的變化可以延伸到另一個話題：在底座大模型突飛猛進的今天，選擇什麼樣的創業方向是相對安全的？如前文分析，對創業公司而言最核心的價值壁壘建構，還是來自于領域專業知識/私有資料/行業世界模型的積累，以及原有客戶關系、管道、工作流場景的占據（有了後者，天然地相對更容易獲得前者）。這樣的公司不太容易被大模型能力更新/生态擴充所淹沒，反而可能會受益于大模型生态擴充的紅利。但那些既不掌握大模型、也不掌握私有資料/世界模型的創業公司——比如很多做2D的開發者工具的公司，其面對的不确定性就要大很多。
向量資料庫 & Memory
AI Memory是困擾大量開發者的問題之一。因為Context長度有限，現階段慣常的解決方案是使用向量資料庫做embedding檢索，也是以湧現了一批向量資料庫的創業項目。我們觀察到，大量開發者對向量資料庫褒貶不一，最大的問題是很多時候準确率無法保證。實際上，在大模型時代之前，向量資料庫主要用來做召回及圖檔的檢索。在過往實踐中，向量資料庫更加适用的是長尾的比對，做那些真正意義非常相近的比對通常效率不高。這也是為什麼許多開發者诟病向量資料庫的精準性問題。
此次OpenAI針對Memory提供了自己的解決方案：128K Context及Assistant API的retrieval。随着這兩個功能的開放，我們認為一些小體量的資料存儲将不再需要向量資料庫，可以直接放在context中，或使用Assistant API提供的retrival，進一步優化開發體驗。這意味着向量資料庫的應用場景會大量縮減。