天天看點

Weight & Biases:大模型軍備競賽的受益者,AI領域的Datadog

作者:海外獨角獸
Weight & Biases:大模型軍備競賽的受益者,AI領域的Datadog
Weight & Biases:大模型軍備競賽的受益者,AI領域的Datadog
Weight & Biases:大模型軍備競賽的受益者,AI領域的Datadog

作者:Kefei,Haihan

編輯:penny

排版:Lydia

Weight & Biases:大模型軍備競賽的受益者,AI領域的Datadog

模型訓練是實驗科學,是通過反複試錯、疊代、求解的過程。AI/ML 科學家在訓練模型時,往往要經曆無數次的修改和疊代,如果将這其中的過程和經驗記錄下來,是一件非常有意義的事。一方面可以了解模型訓練進度、資源使用情況、訓練過程中遇到的問題、以及如何解決問題等等,另一方面也可以和團隊共享經驗,共同協作完成模型搭建。基于此需求,模型實驗管理工具應運而生,Weights & Biases 是該領域最具代表性的公司。

Weights & Biases 于 2017 年成立,由 CrowdFlower 創始人 Lukas Biewald 和 Chris van Pelt 以及前 Google 工程師 Shawn Lewis 聯合創辦。目前,Weights & Biases 聚焦在模型實驗管理環節,未來有可能切入下遊的模型監控領域。公司增長迅速,2022 年 ARR 增長 150%,目前已達到幾千萬美金,且 NDR 非常高,從增長到留存表現都非常優異。

Weights & Biases 的價值在大模型中更加顯著。大模型訓練的複雜程度和資源消耗程度使大模型企業對模型實驗管理工具的需求激增,作為模型實驗管理賽道的 top 1,Weights & Biases 是大模型企業的首選。OpenAI、DeepMind、Facebook AI Research、Midjourney、Stability、Nvidia、Microsoft 等公司均為 Weights & Biases 的客戶。OpenAI 使用 Weights & Biases 跟蹤了 2,000 多個項目、數百萬次實驗和數百萬名團隊成員的模型版本。而 Weights & Biases 的創立靈感也來源于 Lukas 在 OpenAI 的一次實習經曆。

未來 3-5 年内,Weights & Biases 将持續享受大模型軍備競賽帶來的紅利,保持高速增長。但長期看,模型實驗管理市場規模有限,如果想要有所突破,切入下遊的模型監控環節是必要選擇。當 Apps 數量變多,我們需要 APM 工具,需要 Datadog;當 data 數量變多,我們需要 Data Observability 工具,需要 Grafana;如果我們假設未來模型變得很重要或模型數量變多,那麼我們一定會需要模型實驗管理、模型監控工具。并且現在 90% 的模型還沒有被訓練出來,訓練出來的模型中 90% 還沒有被投入生産,未來還有很大增長空間。

模型實驗管理 + 模型監控,是 AI/ML 領域 Datadog 級别的生态位,有機會誕生出 AI/ML 時代的 Datadog,而 Weights & Biases 被賦予最高期待。

以下為本文目錄,建議結合要點進行針對性閱讀。

👇

01 市場

02 産品與商業模式

03 團隊

04 競争

05 成功要素與風險

06 結論

07 融資曆史

08 訪談紀要

01.

市場

一個模型的生産和部署往往不是一蹴而就的,需要經過多次修改和疊代,這樣就會出現一個問題:工程師難以保證下一次的修改一定是正确的,也難以保證下一版一定比上一版好。是以模型的版本管理變得十分重要。試想如果模型版本不能被妥善管理,一旦修改錯誤無法傳回上一版本或前面的某一版本,技術人員便将面臨從頭開始重建立模的困境。重制模型不僅造成了大量時間的浪費,也是對技術人員記憶力的巨大考驗。

此外,IBM 首席 AI 科學家 Deborban Leff 曾表示,超過 87% 的 AI/ML 項目并未投入生産,主要原因是:1/ 資料存儲位置、格式的多樣性導緻收集、清洗資料所付出的時間成本太高;2/ 團隊協作的缺失。

針對模型版本管理和團隊協作兩個痛點,Weights & Biases 應運而生——以模型實驗管理環節為重點,延伸至對資料準備、模型訓練和模型部署的全生命周期的管理,為技術人員提供追蹤模型版本、檢驗模型性能的功能,幫助其選擇最優版本的模型進行上線,在團隊協作和保證模型可複現性上發揮重要作用。

Weight & Biases:大模型軍備競賽的受益者,AI領域的Datadog

目前,AI/ML 技術解決方案正被越來越多的企業和研究機構廣泛接受和使用,MLOps 尤其是偏下遊的環節正處于起步階段,未來仍有較大增長空間。我們對模型實驗管理市場規模測算如下:

Weight & Biases:大模型軍備競賽的受益者,AI領域的Datadog

據測算,全球模型實驗管理市場規模預計在 2027 年達到 43 億美元。

02.

産品與商業模式

Weights and Biases 是一個機器學習平台,核心産品是模型實驗管理工具。使用者可以管理其機器學習項目,例如實驗跟蹤、資料集版本控制和模型管理,重點是協作、可重複性、可追溯性和透明度。Weights and Biases 應用行業分布廣泛,覆寫自動駕駛汽車、醫療保健與生命科學、科學研究、通訊、媒體和娛樂以及公共部門等多個領域。

Weights and Biases 目标使用者為機器學習從業者、研究機構、企業。以個人和團隊使用者為主,目前累計使用者數已達到 50 多萬,這些使用者分布在 700 多家公司。OpenAI 也使用 Weights and Biases 追蹤了 2,000 多個項目、數百萬次實驗和數百萬名團隊成員的模型版本。

模型版本與實驗管理

使用者可以在 Weights and Biases 以可視化的形式跟蹤所有機器學習實驗,可以在 web 或移動裝置上檢視模型的最新訓練進度和結果,并能夠通過使用協作托管功能,在團隊間進行模型調整。除此之外,使用者還可以将實驗檔案和資料集如:超參數、模型權重,樣本測試預測等直接儲存到 Weights and Biases 或自己的存儲空間中,友善以後對模型的重制,便于團隊間的項目移交、協作。在自動對記錄資料集進行版本化的同時,Weights and Biases 會在背景自動比較資料間的差異,保留最佳性能模型的檢查點,确定最佳模型,删除重複資料,節約存儲空間。Weights and Biases 的實驗追蹤管理能夠對使用者的 CPU 和 GPU 使用情況進行監控,對相關名額進行實時可視化,以及識别模型訓練過程中的表現和遇到的問題,提高資源的使用效率。

Weight & Biases:大模型軍備競賽的受益者,AI領域的Datadog

協作空間

這一項針對共享和跨團隊協作的功能,使用者可以在此界面分享和展示機器學習項目。傳統的項目分享通常為螢幕截圖或雜亂無章的筆記,但是在 Weights and Biases,使用者可以将項目進展、介紹與結果以圖表、筆記和動态實驗的形式進行分享,邀請協作者對自己的項目進行編輯和實時評論。

Weight & Biases:大模型軍備競賽的受益者,AI領域的Datadog

可視化看闆

Weights and Biases 為分析和了解機器學習結果提供了一套互動式可視化和儀表盤,包括直方圖、散點圖和性能名額,并提供結構化分析。

Weight & Biases:大模型軍備競賽的受益者,AI領域的Datadog

超參數調優

Weights and Biases 能夠對超參數進行掃描,并帶有預設可視化效果,使用者不用編寫自定義代碼,即可通過圖表對機器學習實驗進行直覺的比較,最終使用 Weights and Biases 的輸出結果為模型訓練選擇最佳超參數值。

Weight & Biases:大模型軍備競賽的受益者,AI領域的Datadog

模型部署

模型部署提供了将機器學習模型部署到生産中的各類工具,在每個生命周期階段集中管理所有模型版本,并能與 AWS 和 GCP 等雲平台整合。

Weight & Biases:大模型軍備競賽的受益者,AI領域的Datadog

Weights and Biases 有 3 種定價模式:個人版、團隊版和企業版。

Weight & Biases:大模型軍備競賽的受益者,AI領域的Datadog

我們從團隊版定價可以看出,對于一個 10 人的 ML 團隊,若購買基礎版産品且不超過基本使用量,則每年花費 $600-1,800。我們也通過客戶訪談得知,部分客戶采購企業版産品,每年花費大約為 5-20 萬美金。是以目前來看,Weights & Biases 占企業預算金額并不高。

03.

團隊

Weights and Biases 于 2017 年成立,由 CrowdFlower 創始人 Lukas Biewald 和 Chris van Pelt 以及前 Google 工程師 Shawn Lewis 聯合創辦。

Weight & Biases:大模型軍備競賽的受益者,AI領域的Datadog

在創辦 Weights and Biases 之前,Lukas Biewald 和 Chris van Pelt 就共同創立了 CrowdFlower ,資料标注公司 Figure Eight 的前身,該公司後來以 4.28 億美元的價格被 Appen 收購。Shawn 有着 4 年 Google 軟體工程師的工作經曆,2011 年曾創立 Beep Networks,一家開發并提供雲連接配接無線傳感器的公司,由于市場競争激烈于 2014 年宣布倒閉。

Weight & Biases:大模型軍備競賽的受益者,AI領域的Datadog

Weights and Biases 的創立靈感來源于 Lukas Biewald 在 OpenAI 的一次實習經曆。在工作中,Lukas 發現很多機器學習研究人員所使用的工具已經過時了,很大程度影響了工作效率和模型品質,由此産生研發一款友善 AI/ML 團隊協同的工具,幫助他們更好地構模組化型的想法。

04.

競争

1. 競對類型一:模型實驗管理創業公司

Weight & Biases:大模型軍備競賽的受益者,AI領域的Datadog

2. 競對類型二:模型監控創業公司

Weight & Biases:大模型軍備競賽的受益者,AI領域的Datadog

3. 競對類型三:成熟企業 ML 平台

Google Vertex AI、AWS SageMaker、Databricks MLflow…

• Comet vs. Weights & Biases

Comet 是 Weights & Biases 的主要競争對手。Comet 産品與 Weights & Biases 高度重合,兩者的核心差別在于主要客群不同,Comet 主要面向 enterprise 客戶,而 Weights & Biases 更多面向個人使用者或團隊使用者。Comet 目前以服務超 150 家客戶,包括 Uber、Shopify、Ancestry、Cepsa、Etsy 等,ARR 在 2021 年實作 5 倍增長。Comet 與 AWS SageMaker、Google Vertex AI、New Relic、TensorFlow 等平台合作緊密。Comet 對個人使用者、學術團體、早期創業公司免費。

與 Weights & Biases 相比,Comet 的企業級功能更豐富。但 Comet 團隊執行力不如 Weights & Biases,響應速度較慢,對客戶需求和回報也沒有引起足夠重視。早期,Comet 産品功能比 Weights & Biases 更完善,但 Weights & Biases 後來無論是産品豐富度、産品易用性還是使用者體驗都反超 Comet。是以,在創業公司中,梯隊相對清晰,Weights & Biases 有較大的領先優勢。

• Vertex AI / SageMaker vs. Weights & Biases

Google Vertex AI 與 AWS SageMaker 仍是使用者在選擇機器學習工具時繞不開的兩大平台。在模型試驗管理環節,選擇 Google Vertex AI 的人更多。Google Vertex AI 的優勢在于內建了市場上的其他産品,使用者切換工具友善。此外,由于 enterprise 客戶有安全審查要求,如果産品都在同一個平台隻需審查一次,若使用其他平台的産品則需要再審查一次,如果一個産品的獨特性不顯著,使用者将為了友善使用大平台提供的工具。

• 模型實驗管理 vs. 模型監控

模型試驗管理聚焦于模型訓練階段,模型監控則聚焦于模型上線後的監控,兩者是上下遊關系。不過,兩者隻是所處的環節和階段不同,但都是對模型和資源進行監控,是以産品形态差異不大。此外,兩個環節的市場總盤子都不足夠大,長期來看,兩個環節的供應商大機率要切入對方的領域,是以,Arise、Arthur 等模型管理公司長期來看也是 Weights & Biases 的競争對手。

05.

成功要素與風險

成功要素

1. 重要賽道 & 重要位置

AI/ML 在未來 10 年的重要性無須反複提及,我們希望挖掘出 AI infra 鍊條上所有重要環節、重要位置,而 Weights & Biases 所在的模型實驗管理是我們認為相對重要的一個環節。當 Apps 數量變多,我們需要 APM(Application Performance Management)工具,我們需要 Datadog;當 data 數量變多,我們需要 Data Observability 工具,我們需要 Grafana;如果我們假設未來模型變得很重要或模型數量變多,那麼我們一定會需要模型實驗管理、模型監控工具,最終跑出來的可能是 Weights & Biases。

2. 産品價值顯著,易用性好,受使用者喜愛

模型實驗管理在 AI/ML 工作中價值展現較明顯,如果沒有 Weights & Biases,工作會變得混亂,尤其是團隊間協作,模型在哪、訓練進度如何、結果怎麼樣、結果是如何得到的、資源調用情況如何等等,都需要依靠 Weights & Biases 來追蹤和檢視。Weights & Biases 提供了較高的價值。除此之外,Weights & Biases 的産品易用性和使用者體驗做得很好,深受使用者喜愛,口口相傳,NPS 為 9-10 分。有使用者表示,沒有用 Weights & Biases 的人隻可能是沒聽說過此類産品的人,如果使用者知道有這樣一款産品存在,一定會瞬間愛上它。

3. 客戶品質高,增長和留存資料樂觀

Weights & Biases ARR 在幾千萬美金量級,ARR 去年同比增長 150%,增長迅速,NDR 也超過 150%,商業化表現佳。NDR 高是因為有資料沉澱,模型實驗管理工具就像使用者的筆記本,知識和項目情況沉澱在筆記本中,如果筆記本頁數無限大,使用者将沒有動力更換筆記本。

Weights & Biases 客戶包括 OpenAI、DeepMind、Facebook AI Research、Midjourney、Stability、Nvidia、Microsoft、Lyft 等等,許多客戶為大模型或 Generative AI 公司。大模型對算力需求大、成本高,Weights & Biases 能夠為大模型及大模型之上的應用層企業可視化資源的使用情況,充分享受到大模型與 Generative AI 的紅利。

4. 團隊 Marketing 能力強、執行力強

Weights & Biases 在品牌塑造、PR、marketing 方面非常強,文章、播客、社群、研讨會等應有盡有,還釋出了類似 Kaggle 的榜單。Weights & Biases CEO 與核心團隊也非常活躍,出現在各大論壇和會議,包括業界的活動與高校的活動。有使用者表示:“他們可能是我見過最高調的供應商”。

強大的品牌與市場營銷能力對于實驗管理工具賽道而言十分重要,因為即使産品與産品之間在互動設計、使用者體驗等方面有一定差距,但單從價值來看,每款産品提供的價值差異并不大。再加上模型實驗管理工具就像筆記本,使用者更換的動力不大。是以更早地觸達使用者、更快擷取更多使用者很關鍵。模型實驗管理賽道是占坑邏輯,早期占的坑越多,留給對手的機會就越少,是以有很強的 marketing 能力對于 Weights & Biases 而言是一個極大的優勢。

此外,Weights & Biases 團隊的執行力很強,他們能及時根據使用者回報調整産品,并在使用者提出問題和需求時快速響應,使得使用者體驗很好,産品疊代速度也很快。許多使用者表示,早期決定與 Weights & Biases 合作很大程度是因為 Weights & Biases 團隊永遠給人一種“極度渴望合作且十分靠譜”的感覺。

風險

1. 天花闆不夠高

從目前測算結果來看,2027 年 Weights & Biases 所在的賽道潛在市場空間僅為 43 億美元,規模較小。并且,Weights & Biases 占企業預算并不高,根據調研結果,5 人 ML 團隊每年在 Weights & Biases 花費 5-10 萬美金,10 人 ML 團隊每年花費 15-20 萬美金。

另一方面,由于 Weights & Biases 主要針對個人或團隊使用者,而非 enterprise 客戶,Weights & Biases 提供企業級解決方案的能力較弱,産品中也缺少企業級 feature。早期針對 C 端或 SMB 客戶起量較快,但後期如果無法突破此邊界拿到 enterprise 客戶的訂單,則有可能很快遇到天花闆。

不過大模型這波趨勢起來之後,該情況有所好轉,大模型訓練的複雜程度以及對資源的消耗程度,都使模型實驗管理和監控變得更加重要,Weights & Biases 也成功拿下了多家大模型公司和 Generative AI 企業的訂單。長期看,更大的需求不在訓練端,而在推理端,如果 Weights & Biases 能成功切入模型上線後的模型監控環節,天花闆将有質的提升。

2. 剛需程度不足,遷移成本低

盡管模型實驗管理工具有資料沉澱,使用者沒有更換其他解決方案的動力,但假設 Weights & Biases 明天就消失,使用者表示不會對業務産生任何影響,這是因為 Weights & Biases 目前切入的領域主要在離線環境,而非與業務緊密結合的線上環境。這也表明了 Weights & Biases 價值雖顯著,但剛需程度不足。

有位使用者用了個比喻解釋該問題,Weights & Biases 隻是個筆記本,它記錄項目情況,但不存儲用于模型訓練的資料,它不是課本,也不是考試中的答卷,如果筆記本弄丢了,再買一本新的,并根據記憶和現有的模型把此前的筆記補上就行,不會産生太大影響。此外,假設使用者想要更換供應商,隻需要 3-5 天就能遷移完成,遷移成本不高,企業若自建一套系統,也隻需要 3-4 個月時間。

06.

結論

Upside:Datadog for AI/ML?

除此之外,我們認為 Weights & Biases 團隊能力較強,但不夠 visionary,不夠堅定。

正如成功要素部分所說,當 Apps 數量變多,我們需要 Datadog;當 data 數量變多,我們需要 Grafana;如果我們假設未來模型變得很重要或模型數量變多,那麼我們一定會需要模型監測、模型管理工具。競争部分也提到,模型監測與模型管理兩個環節的供應商未來大機率會互切,進入對方的領域,兩個環節未來将由相同的供應商負責。是以,Weights & Biases 的 upside 的假設是,Weights & Biases 成功從模型實驗管理切入到模型監控環節,甚至切入工作流的更多環節,或像 Datadog 一樣成功擴大了産品數量。

Downside:被收購

Weights & Biases 在 AI infra 卡位較好,價值顯著,産品易用性好,深受使用者喜愛。Weights & Biases 對使用者而言有很大的價值在于友善協作、提升模型訓練效率、可視化資源使用情況等等,對 AI/ML 的 adoption 速度提升有很大幫助,利好上遊的硬體廠商和雲平台,對于上遊廠商而言,Weights & Biases 是好的并購标的,Nvidia 也于 2022 年 5 月對 Weights & Biases 進行了戰略投資。是以我們對 Weights & Biases 的 downside 并不擔心。

目前判斷

基于目前情況,我們的判斷是 Weights & Biases 今年 2023 年 ARR 超過 1 億美金,2027 年預計在模型試驗管理 43 億美金的市場中占據 10% 的市場佔有率,即 2027 年 ARR ~ 4.3 億美金(僅指模型實驗管理環節,不包括模型監控環節)。長期看,Weights & Biases 要做到 10 億美金 ARR 應該還需要 8-10 年,同時也不排除有被收購的可能性。一句話總結,短期将保持高速增長,長期有挑戰。

判斷依據如下:

1. 短期受大模型軍備競賽紅利影響,保持高速增長。

大模型訓練的複雜程度和資源消耗程度使大模型企業對模型實驗管理工具的需求激增,作為模型實驗管理賽道的 top 1,Weights & Biases 是大模型生态企業的首選。并且借着大模型的東風,Weights & Biases 開始切入 enterprise 客戶,客戶群體由原來的個人或團體客戶擴充至 enterprise 客戶。是以我們認為 Weights & Biases 短期内将保持高速增長。

2. 長期來看,由于 Weights & Biases 目前所切的市場空間有限,在大模型軍備競賽紅利過去後,增長會面臨一定挑戰。

即使 Weights & Biases 借着大模型打開了 enterprise 市場,但模型實驗管理本身聚焦在訓練側,而參與模型訓練的面向的隻有少數頂級的研究員和工程師,即使在 enterprise 企業也是如此,也就是說 Weights & Biases 看似打開了 enterprise 市場,但客群與此前的主要使用者如高校研究員、個人使用者等等差異不大,有一定量的提升,但不是質的提升。且頂級研究員的數量不會快速擴張,模型實驗管理的市場空間相對較小,是以 Weights & Biases 長期發展依然有挑戰。

3. 如果想在長期有所突破,切入下遊的模型監控環節是必要的選擇。

就像上文所說的模型上線後、在實際生産環境中監控模型是更大的市場和機會。更理想的情況是切入更多的工作流環節。我們認為 Weights & Biases 切入模型監控環節成功的機率不小,因為目前該環節玩家不具備超強的競争力,Weights & Biases 切入相對容易,但也要看團隊的野心和意願。

此外,APM 公司是在 app 生态非常成熟之後才跑出來,Data Observability 工具也是在 data stack 相對完善、data 生态非常繁榮之後需求量才大增,而 AI/ML 行業才剛剛起步,尤其是大模型,是以我們判斷現在是模型實驗管理需求爆發的時點,而距離模型監控需求爆發的時點仍有 5-8 年。并且橫向切入其他環節,擴産品線,并非容易之事,Datadog 靠此政策取得成功,但大多數公司都無法突破舒适區。

4. 我們認為 Weights & Biases 有可能被收購的原因是:1/ Weights & Biases 産品價值顯著,但産品相對較薄;2/ 對上遊硬體和雲廠商有戰略協同意義;3/ 團隊能力較強,但不夠 visionary、不夠 aggressive。

07.

融資曆史

Weight & Biases:大模型軍備競賽的受益者,AI領域的Datadog

08.

訪談紀要

1. Customer A

我們核心的 ML 團隊、完全專注于機器學習的目前不到 10 人。機器學習過程中的兩大挑戰是:1/ 如何以可擴充的方式有效、快速、輕松地部署模型;2/ 模型系統資料庫,包括模型版本管理、模型全生命周期監控等等。在我看來,Weights & Biases 在做的實驗追蹤很大價值在于員工之間的知識共享,避免一些重複性工作。W&B 目前在支付方面有些問題。我之前在另一家公司工作的時候,試圖讓 Weights & Biases 成為我們的供應商,但我們不能使用 cloud 版本,隻能 on-prem 部署,而 on-prem 版本的定價遠高于 cloud 版本,是以我們最終沒有選擇采購 Weights & Biases。

2. Customer B

Weights & Biases 與 Comet 的差別在于,Weights & Biases 更傾向于面向學術界進行銷售,客戶多為研究人員,而 Comet 則更多與初創企業或大公司接觸,面向金融或傳統農業領域。這從他們舉辦的研讨會主題也能看出來,Weights & Biases 通常會深入讨論技術、學術性話題,包括 AI/ML 方向的最新研究成果等等,而能夠欣賞這些東西的通常是學術界研究員或行業内實驗室的研究員。

3. Customer C

我們做深度學習,需要對與訓練這些模型相關的所有名額進行監測,很多東西需要追蹤和檢視,Weights & Biases 是一個非常詳細的深度學習日志系統,在使用 Weights & Biases 之前,人們隻能将模型日志儲存在電子表格或其他文檔中。有了 Weights & Biases,你可以将日志插入代碼中,且透明度大大提高,它記錄了你在訓練模型過程中發生的每一件事,而不是一個獨立的、不一定有意義的電子表格或檔案。

我們在使用 Weights & Biases 前,也評估了 Comet,但我們發現 Weights & Biases 團隊的響應速度更快,他們看起來更願意與我們合作,更願意為我們提供額外的支援。是以我們選擇了 Weights & Biases。

實際上,Weights & Biases 的核心産品比 Comet 要好得多,使用 Weights & Biases 是非常容易的,直接、容易了解。假設我們有 5 個人在研究同一個模型,如果沒有 Weights & Biases 将是非常困難的,你的團隊會陷入混亂。我們是 20 人的團隊,每年在 Weights & Biases 花費 20 萬美金。但如果 Weights & Biases 提價 3 倍我們依然會買,如果沒有 Weights & Biases 我們的工作将會受到影響。我認為任何做深度學習的人,如果他們沒有使用 Weights & Biases,唯一可能的原因是他們不知道這個工具的存在。

4. Customer D

我認為 MLOps 的最大價值在上遊,尤其是資料部分,如何為你的模型擷取訓練資料,我認為這可能是最有價值的地方。Weights & Biases 雖然也是其中一個關鍵環節,但它們所覆寫的價值範圍更窄,客單價我猜是 5 萬美元以下。相比之下,我們現在在 AWS 上的花費大約是每年 2,500 萬美元,在 Scale 的花費也有每年 200-250 萬美元。

5. Customer E

對我來說,Weights & Biases 就像一個虛拟的筆記本,資料科學家們以前都有一個筆記本或電子表格,用于追蹤所有的實驗,但現在有了 Weights & Biases,Weights & Biases 就是一個非常好的資料科學家協作平台。但由于資料安全,我們不希望我們的資訊和資料被 Weights & Biases 吸收,是以到了規矩較嚴格的新公司後,我就沒有再用 Weights & Biases。

當你想用模型來解決業務問題時,可以進行一些實驗,類似原型設計,Weights & Biases 主要切入的環節為訓練階段的模型實驗管理。如果我們把模型帶入生産環境,模型同樣需要被監控,這個環節有其他玩家,但我認為 Weights & Biases 也想進入這個市場。Weights & Biases 有很好的品牌識别度,被大家看作是一個很酷的品牌,他們确實在社群營運方面投入較大。如果滿分 10 分,我會給 Weights & Biases 打 8 分,它是一個非常好的産品,也是一個非常簡單的産品。

6. Customer F

我們嘗試過 Databricks 的 MLflow,它也有模型實驗管理工具,且是免費提供,Azure ML 也有一個模型追蹤系統,但我們仍然需要 Weights & Biases,因為他們的功能差距非常大。Weights & Biases 可以橫向整合,切入越來越多的工作流,類似 Databricks 的做法。他們起步很好,在模型追蹤、可觀測性、日志等方面都比其他人做得好,這是一個相當堅實的基礎。我在使用過程中遇到問題、提出問題,他們對回報意見的接受度很高,且每次都會幫我解決這些問題。

Weights & Biases 有一個社群,裡面有大量的思維碰撞,有播客、教程、論壇等等,這些内容沒有在宣傳 Weights & Biases,僅限于學術讨論,但實際上為 Weights & Biases 塑造了很好的品牌形象。

7. Customer G

我們公司有 250 名 AI 或資料科學家,使用 Weights & Biases 的有 15-20 人,主要集中在模型和算法團隊。很難将 Weights & Biases 與其他工具進行比較,每個工具都在一個特定的領域很突出,重點不同。如果滿分 10 分,我會給 Weights & Biases 打 9 分。

8. Customer H

我們用 Weights & Biases 主要是因為友善,如果沒有 Weights & Biases,我們也能自己寫一套工具,大概需要 4 個月時間。但問題在于,我們自己寫的産品使用體驗可能沒有那麼好,可能無法吸引其他團隊使用,進而沒有達到協作的效果。我認為 Weights & Biases 沒有直接的競争對手。就目前而言,Weights & Biases 處在一個有利的位置,因為他們已經在這方面投入了很多時間,作為一個工具,Weights & Biases 顯然領先于其他競争對手。

9. Customer I

我在機器視覺團隊,整個部門有 15 個人。我們的實驗追蹤主要依靠 AWS 和 Weights & Biases,AWS 用于共享文檔,用于協作,而 Weights & Biases 用于比較模型。我們是 Weights & Biases 的早期使用者,我們整個部門都在處理大量的資料,這是我們工作中最耗時的部分之一,另一個耗時的事情是尋找模型中的問題,以及調試模型。是以我認為擁有一個可以大大減少此類工作時間的工具是非常重要的。

10. Customer J

我們公司的資料科學與機器學習團隊有 12 人,4 人負責 infra,4 人負責資料品質,3 人負責研發。過去一年,我一直試圖說服老闆使用 Weights & Biases 或 Neptune。Weights & Biases 現在是一家 branding 很好的公司,我過去經常使用它,認為它是最好的,我喜歡它的許多功能,但我認為它的定價已經相當高了,在我們公司所處的階段,可能需要更便宜的産品。

此外,Weights & Biases 很多功能對我們來說不是特别有用,我想也許 Neptune 會更适合我們。我們希望 Weights & Biases 有一個定價選項,可以自己選擇想要的功能和産品,而不是按一整個 package 賣。我想,我現在會建議公司用一個開源軟體,或采購 Neptune,因為它很便宜。

Weight & Biases:大模型軍備競賽的受益者,AI領域的Datadog
Weight & Biases:大模型軍備競賽的受益者,AI領域的Datadog
Weight & Biases:大模型軍備競賽的受益者,AI領域的Datadog

拾象雲安全投資圖譜:Wiz最快達到1億美元ARR的來龍去脈

Webflow:40億美金估值的無代碼建站SaaS,能否跨越下個技術周期?

Rippling:HR領域的Salesforce,将分裂的HCM再度平台化

Retool:重塑現代企業的1/3,為SaaS裝上樂高底座

Universal API:第三方內建的高速公路,SaaS割裂現狀的破局之道

繼續閱讀