“第一次創業打出了技術影響力，這一次想證明好的技術能賺錢。”
文丨賀乾明
編輯丨程曼祺
OneFlow 創始人、光年之外聯合創始人袁進輝近期宣布再次創業，成立新公司矽基流動（SiliconFlow)。
《晚點 LatePost 》獨家獲悉，矽基流動已完成 5000 萬元人民币天使輪融資，由創新工場領投，耀途資本、奇績創壇、美團聯合創始人王慧文等跟投，投後估值為數億元人民币。
袁進輝告訴《晚點 LatePost》，他和 OneFlow 核心團隊從 2023 年 8 月開始籌備再次創業，新公司延續 OneFlow 的方向，做 AI Infra（AI 基礎設施）層中的 “架構”。
AI 架構介于算力層和模型層之間，是一種系統軟體，就像電腦作業系統能使普通使用者直接用滑鼠和鍵盤操作應用，AI 架構能幫開發者簡單友善地設計模型或使用模型，而無需操心底層算力資源的調配。
不同的是，OneFlow 當年以通用訓練架構為主，服務深度模型的生産；矽基流動則專注做推理架構，服務大模型的應用。
袁進輝認為，服務大模型應用比服務大模型生産更容易做出标準化産品，市場空間也大得多：模型生産是階段性的，且由少數公司主導；大模型應用則會遍布各行各業、無處不在，被各種行業和規模的企業需要。
從 OneFlow 到 SiliconFlow，從訓練到推理
袁進輝大學畢業于西安電子科技大學，2003 年考入清華大學計算機系，師從張钹院士攻讀博士學位，做過機器學習、深度學習和腦科學的跨學科研究。
在 2013 年加入微軟亞研院後，袁進輝做出了當時最快的主題模型訓練算法和系統 LightLDA，之後又開始嘗試研發 AI 訓練架構，這也是 2017 年他創辦的 OneFlow 的主攻方向。
當時市場上已有 Google 的 TensorFlow 和 Meta 的 PyTorch 等開源架構。袁進輝之是以覺得有創業機會，在于他有一個非主流的認知：未來 AI 模型會很大。
他的判斷來自博士後階段研究交叉學科的經曆：人類大腦中有上千億神經元，而當時最龐大的神經網絡的參數（類似神經元）也沒有破億，大部分訓練架構能滿足當時模型的規模，卻沒有為巨大的模型優化。
袁進輝稱，從 OneFlow 創業之初，他們就在開發大參數模型的訓練架構，使用了現在大模型架構常用的分布式并行訓練方法，這能提升用大量 GPU 同時訓練單個模型的效率。
2022 年 11 月，PyTorch 釋出分布式計算擴充程式 DistributedTensor 時，PyTorch 聯合創始人蘇米特·金塔拉（Soumith Chintala）還在社交平台上提到，部分靈感來自 OneFlow 的類似功能。
一位 AI 從業者曾告訴《晚點 LatePost》，OneFlow 訓練大模型确實更友善，一般科技大公司使用的架構會在 Pytorch 或 TensorFlow 上又做一層封裝和優化，但這些優化是面向資訊推薦等已有業務定制的，不是針對大模型，“數億參數和數百億甚至上千億參數的模型，訓練架構要做的事差别很大”，OneFlow 則針對大模型訓練做了優化。
2023 年初，大模型在全球獲得廣泛關注，OneFlow 的技術設想得到驗證。同年 3 月，OneFlow 被光年之外并購，又 3 個月後，光年之外創始人王慧文因病退出創業，光年之外被美團收購，袁進輝選擇再次創業。
“加入光年之外時是 40 人，再創業時有 35 人。” 袁進輝說，經過 2023 年的兩次變動，OneFlow 核心團隊僅有少數人員離開，關鍵原因是做推理系統的新方向讓團隊覺得有希望、有機會。
英偉達、亞馬遜都在做推理架構，對手不乏大公司
推理架構的機會首先在于需求多、市場大。多位大模型從業者估算，如果大模型被廣泛使用，大模型的訓練和推理用量會達到 2:8，甚至 1:9。
這同時是一個客戶相對分散的市場，供應商更有話語權，能自己生産大模型的公司是少數，基于模型開發應用或直接使用大模型的公司則多得多，它們都需要推理的優化。
推理成本偏高也正是目前的行業痛點，客戶更願意為此付費。傳統軟體一次開發、無限複制，邊際成本顯著降低；而使用者每次調用大模型時都要消耗不少 GPU 計算資源做推理。這就是為什麼付費版的 ChatGPT 也會限制使用者使用 GPT-4 的次數，3 小時内最多用 50 次。
推理比訓練有更大的成本優化空間。“用大量晶片訓練大模型，硬體使用率的理論上限是 60% 多，英偉達同時做軟硬體可以做到 50% 多，其它公司在這個基礎上再優化，最多也隻有約十個點的 margin；而推理環節還有數倍、甚至十倍的降本空間，推理的市場容量是訓練的好多好多倍。” 袁進輝說。
袁進輝同時提到，做推理架構的資源門檻更低，對創業公司更友好。因為要做好大模型訓練需要數千張 GPU 做實驗平台，推理架構則可以使用規模小得多的算力資源做開發和優化。推理的需求也比較同質化，更容易做成标準産品，創業公司能集中精力做研發，減少定制化傳遞。
更大的市場機會、更低的資源門檻，意味着更多競争對手，大小公司皆有：
- 大型雲計算公司會開發類似産品與 AI 計算資源綁定銷售，如亞馬遜雲的 SageMaker 和阿裡雲的 PAI 等；
- 晶片公司也會研發與晶片搭配的推理架構，如英偉達的 TensorRT-LLM；
- 創業公司方面則有賈揚清（知名 AI 訓練架構 Caffe 的作者之一）創辦的 Lepton AI，陳天奇（機器學習算法 XGBoost、深度學習編譯器 TVM 作者）參與創辦的 OctoAI，新加坡國立大學教授尤洋創辦的潞晨科技，清華電子系主任汪玉創立的無問芯穹等；
- 學術界也有開源推理架構，如伯克利大學開發的 vLLM 等。
袁進輝并不擔心矽基流動在這個領域的技術實力，他稱公司的架構全部自研，并不基于英偉達的 TensorRT-LLM 或伯克利的 vLLM，這是目前最主流的兩個推理架構。
據矽基流動展示，使用 8 塊 A800 GPU 推理 700 億參數的 Llama2，其語言大模型推理加速引擎 SiliconLLM 在吞吐、時延等名額上超過 vLLM、TensorRT-LLM，部分名額最高可達競對産品的 10 倍。
袁進輝稱，矽基流動擁有大量長期做 AI 架構的一線技術與工程人才，其中不少人是去了大公司相關團隊又回來：“在業務龐大的大公司，AI 架構的優先級不見得很高，而對我們來說，這就是唯一。”
“第一次創業有了技術影響力，這次想證明好的技術能賺錢”
從 2017 年創業到 2023 年被收購，OneFlow 沒讓投資人虧錢，但也沒能像國外同行那樣獨立盈利、快速增長，商業化談不上成功。
OneFlow 的境遇不是個例，2016 年之後，中國出現一批基礎軟體創業公司，它們多嘗試開源模式，發展初期有不錯的融資，但多數越走越疲憊，鮮有跑出來的成功者。
這次創業前，袁進輝還是想着做一家面向企業客戶的基礎軟體公司，他請教了創業成功的朋友，得到的回報是悲觀的：“我沒想清楚為什麼中國那麼多優秀人才進入這個行業都做不好，也沒看到你在這方面有超出常人的商業認知。”
對一家想做标準化技術 SaaS（軟體即服務）的中國公司到底怎麼走通商業化，袁進輝覺得現在他想得更清楚了。
決定創業時，他第一個想法就是積極開拓海外市場。袁進輝認為，海外、尤其是美國市場數字化程度較高，企業和開發者已經養成了軟體付費習慣，培育出了 Databricks、Snowflake 等數百億美元市值的公司，商業化難度較低，目前矽基流動已經談下海外客戶。
而在中國市場，他的政策是：綁定一個客戶必須付費的産品，如硬體或雲計算資源，一起賣軟體。
帶着 OneFlow 時期積累的經驗和教訓，袁進輝說，矽基流動有信心摸索出一條符合大環境的商業化路徑。
在目前的融資環境下，留給矽基流動證明商業化能力的時間更緊迫了。
一位該領域創業者說，風投機構投資這類基礎軟體公司時，會因為創業團隊的技術提供天使輪資金，但後續投資會更看重實際營收與客戶，出手會越來越謹慎。
矽基流動的辦公室在中國大模型和 AI 公司聚集地清華科技園。去年有一天，袁進輝去清華科技園樓下喜家德吃餃子，剛坐下就聽到鄰桌議論：“OneFlow 技術做得挺好 ...... 最後還不是沒掙到錢，被收購。”
“有時我會想，我們是不是做了一個不好的範例？技術判斷沒問題，也勤勤懇懇做事，但還是無法取得大家認可的成功。” 袁進輝說，這次決定再創業，不想讓團隊四散分開，也是想努力證明和實作他覺得簡單、正确的道理：“好的技術能賺錢。”
題圖來源：《阿甘正傳》