天天看點

IDP:雲原生的“Jupyter”,讓算法團隊更高産|Q推薦

作者 | 王一鵬

2022 年 1 月 14 日,國産自研的雲原生 AI 開發生産平台——IDP(Intelligent Development Platform) 試用版正式釋出。IDP 由白海科技研發,目标在于為資料科學家、算法工程師等提供易用的 AI 開發與生産工具,填補該領域國産軟體的空白,打造更具極緻體驗的“Jupyter”。

1

AI 時代已至,但國産易用軟體尚為空白

在資料、算法和算力“三駕馬車”的協同推進下,AI 的應用飛速發展,已逐漸滲透進國民經濟的各行各業。伴随 AI 大生産而來的,是資料的龐雜繁蕪、模型的日益複雜和計算量的指數級增長,算法開發團隊亟需資料治理、模型開發、高性能計算等 AI 基礎軟體,以幫助其低成本、低門檻地進行 AI 開發與生産。

然而,目前國内市場對資料科學家和算法工程師在 AI 開發生産中的痛點關注不足,缺乏易用的、一體化的國産 AI 開發與生産工具。現存市場解決方案普遍為國外産品,這些産品或存在跨境使用速度較慢、體驗受損的問題,或價格高昂、加重企業利用 AI 技術進行智能化轉型的負擔。

是以,白海科技創始團隊決定打造 AI 智能開發平台 IDP,專注賦能資料科學家、算法工程師以及欲轉型為資料科學家的大資料工程師,為其提供易用的 AI 開發與生産工具,讓其更加專注于模型開發和資料分析本身,提升工作效能,同時幫助企業提升效率,降低 AI 開發與應用成本。

2

雲原生、專業輕量和按需使用

企業資料上雲已成為不可逆轉的趨勢,從滲透率的角度講,雲服務已難以被稱為一種“新興技術”。根據紅杉中國《2021 企業數字化年度指南》中的調研資料,已有超過 70% 的企業使用了雲服務,47% 的企業正在大規模推廣并應用。同時,随着企業業務的複雜化和雲服務玩家的多元化,多雲部署也成為新的趨勢。

随着雲服務的蓬勃發展,雲原生應用也憑借快速部署、靈活擴充、降低成本等優勢,逐漸受到廣大企業的關注和喜愛。作為新一代 AI 開發生産平台,IDP 緻力于打造雲原生的“Jupyter”,将 Jupyter 的互動式開發體驗和雲原生的卓越性能進行完美結合,為廣大開發者和企業客戶提供更加易用、靈活、高效、可遷移的 AI 開發生産工具。

IDP 并非工具內建式的、厚重且大而全的機器學習平台,而是以 IDE 為唯一入口,專業輕量、按需使用的工具平台。

IDP 以內建開發環境 IDP Studio 為唯一使用者互動界面,通過内置可靈活安裝與解除安裝的機器學習庫 / 包、算法開發涉及的各功能元件等,讓使用者可在 IDP Studio 内一站式、穩定、高效地完成包括資料準備、資料探索、模型建構、模型訓練、模型評估模型部署與釋出的全流程工作。IDP Studio 同時支援直接使用 SQL 進行資料處理,并支援團隊協作程式設計和實時共享。

此外,值得一提的是,為滿足專業算法開發團隊對性能的要求,IDP 以高性能分布式計算引擎 IDP Engine 為核心支撐,幫助企業實作智能分布式執行,提升算法開發效率,降低資源消耗成本。

3

易用、性能和協同

IDP 主要具有三大核心特征:

易用:本地 IDE 級使用體驗

IDP 可提供與本地 IDE 同樣優質的使用體驗,同時滿足互動式和非互動式程式設計的需求;且程式設計環境提供代碼智能補全、代碼自動修複等編碼輔助功能,提升開發效率。

資料科學家可在同一開發環境中穩定、便捷地實作 SQL 處理和 ML 全流程工作,無需切換工具和平台;同時,可依托 IDP Studio 内置的主流資料科學庫包和多種機器學習架構,快速上手算法開發。

性能:高效率、低成本

IDP 通過可視化工作流編排與管理功能,幫助資料科學家和算法開發團隊對資料預處理、資料探索、機器學習、深度學習、DB Engine 等工作進行統一排程,提升開發效率。

IDP 可幫助企業進行精細化的算力資源管理,支援搶占式排程和計算資源自動擴容,具備程序級别的斷點續跑和自動休眠功能,幫助企業提升資源利用效率、減少資源浪費、縮短訓練等待時間。

另外,IDP 通過資料并行、代碼分片、代碼編譯優化等方法對單機版代碼進行優化,實作智能分布式執行。

協同:團隊協作、多雲相容

IDP 支援協作程式設計,算法團隊可進行模型和項目的實時共享、協同編輯、評論互動等,以最大化團隊生産力。

作為雲原生的 AI 開發生産平台, IDP 天然支援多雲部署,為客戶提供多樣便捷的選擇。

4

未來重點計劃:核心開源

下一步,白海科技計劃将 IDP 中 IDP Studio 的核心功能開源。同時,白海将進一步完善産品功能,一方面持續優化 IPD Studio,以便更高效地滿足企業對于團隊協作和 AI 生産的基本需求;另一方面,夯實分布式計算引擎 IDP Engine, 助力企業提升算法開發與訓練的品質和效率。

白海科技創始人兼首席執行官盧億雷表示:“提升專業資料科學家的生産力、促進企業的 AI 創新是 IDP 的初心,更是引領 IDP 未來發展的燈塔。我們希望通過開源 IDP Studio,彌補國産易用 IDE 的市場空白,讓算法開發團隊有更多專業、簡單、易上手的工具選擇;希望通過開放的生态,與廣大行業夥伴、開發者和客戶,攜手推進 AI 的開發、應用和落地,加速企業智能化轉型與創新。”

榮譽體驗官,IDP 等你來

IDP 試用版面向極客資料科學家和迫切希望提升算法團隊生産力的企業,開放少量優先試用名額,您将有機會搶先體驗 IDP 核心功能,探秘國産 AI 開發生産工具的驚喜。

與此同時,希望您積極回報和分享實際場景下的試用體驗,推動 IDP 的成長,共創中國 AI 基礎軟體工具的未來!

繼續閱讀