天天看點

數棧+AI:數棧V6.2創新釋出,讓資料開發更智能

作者:中國财富網

近日,以“Data+AI,建構新質生産力”為主題的袋鼠雲春季釋出會圓滿落幕,大會帶來了一系列“+AI”的數字化産品與最新行業沉澱,旨在将資料與AI緊密結合,打破傳統的生産力邊界,賦能企業實作更高品質、更高效率的數字化發展。會上,袋鼠雲數棧産品負責人偷天帶來了融合AI能力的數棧V6.2的全新釋出,這不僅僅是一個簡單的産品的更新,更代表着袋鼠雲對未來的一次大膽預見。(了解袋鼠雲https://www.dtstack.com/?src=meiti)

一、數棧V6.2:資料價值最大化

資料驅動時代,資料已經成為了企業的生命線。如何高效地管理和利用這些資料,是每個企業都在探索的問題。數棧V6.2的釋出,正是為了解決這一挑戰,幫助企業在資料的海洋中乘風破浪。

數棧+AI:數棧V6.2創新釋出,讓資料開發更智能

全新釋出的數棧V6.2,其核心理念是Data+AI,新版本不僅提供了大資料平台的基礎功能,更通過與AI技術的深度融合,為企業提供資料智能分析與應用。這意味着企業可以通過數棧平台,實作行業内容體系的內建、靈活便捷的資料洞察、極速分析引擎的計算以及資料安全的全方位管控。除此之外袋鼠雲産品解決方案還覆寫了輕量化、資料治理、信創等多個方面。這一切的設計,都是為了幫助企業優化計算存儲成本、提升資料品質、推動标準規範,最終實作資料價值的最大化。

1、輕量化資料中台解決方案,資料處理更高效

通過引入高效的計算引擎Doris和StarRocks,實作了對平台性能的革命性重構。這一創新舉措不僅大幅提升資料處理速度、降低存儲成本和運維成本,還優化了查詢效率,為企業帶來了前所未有的資料操作體驗。

數棧+AI:數棧V6.2創新釋出,讓資料開發更智能

Doris和StarRocks的即席查詢能力和高性能分析處理能力共同建構了一個強大而靈活的資料處理平台。使用者可以輕松應對海量資料的實時分析需求,實作資料的即時洞察和決策支援。在這一過程中,資料的準确性和可靠性得到了充分保障,為企業的故障預測、精準營銷和工藝優化等關鍵業務提供了堅實的資料支撐。

2、全方位資料治理體系,實作企業價值最大化

在數棧V6.2中,我們對資料治理進行了全面的更新和重新定義,以滿足企業在資料管理方面的日益增長的需求。資料治理中心的五大次元:存儲、計算、品質、規範和價值,構成了一個全方位的資料治理體系,確定企業資料的完整性、準确性和可用性。

數棧+AI:數棧V6.2創新釋出,讓資料開發更智能

治理工作台提供了一個直覺的操作界面,使得資料治理任務的發起、記錄、指派和處理變得簡單高效。通過這個平台,企業可以實作從個人視角、項目視角到全景視角的資料治理情況展示,進而確定每個環節的資料品質都得到有效監控和管理。代碼檢查功能通過SQL檢查規則規範SQL代碼,提前預防可能引入的治理問題。而小檔案治理則針對Hadoop叢集中的小檔案問題,通過一次性或定期合并,優化叢集性能和擴充性,提升資料處理效率。

數棧V6.2的資料治理不僅僅是技術的更新,更是對企業資料文化的一種塑造。通過這樣的治理體系,企業能夠建立起一套完善的資料治理架構,推動資料标準化、規範化,最終實作資料資産價值的最大化。

3、全鍊路信創适配,支援全面國産化

在這個資訊化和信創并重的時代,我們深知企業對于資料安全和自主可控的需求。是以我們的平台不僅在伺服器、作業系統、晶片、中間件、中繼資料庫、計算引擎等方面實作了全鍊路的信創覆寫,更是在私有化部署和全流程安全防護上做了深度适配。這是我們對國家安全戰略的堅定支援,也是我們對企業社會責任的積極履行。

數棧+AI:數棧V6.2創新釋出,讓資料開發更智能

4、創新突破Paimon資料湖能力,實作批流一體的資料處理模式

在傳統的資料處理模式中,企業往往面臨着開發和維護兩套代碼邏輯的困境:一套用于批量處理,另一套用于實時流處理。這不僅意味着雙倍的開發和維護工作量,還需要處理兩者之間的資料合并邏輯,確定兩套系統同步上線。這樣的模式,不僅增加了資源的消耗,還可能導緻資料的二義性問題,使得資料的準确性難以保障,業務人員對資料結果的信任度下降。

數棧+AI:數棧V6.2創新釋出,讓資料開發更智能

數棧創新突破通過Paimon資料湖的能力,實作了批流一體的資料處理模式,有效解決了上述問題。平台提供了實時湖表開發和即席查詢功能,使得資料開發人員可以在單一平台上同時處理實時和批量資料,無需額外的資源投入和複雜的資料同步過程。這樣的一體化解決方案,不僅降低了計算和存儲資源的占用,還確定了資料的一緻性和準确性,進而提高了業務人員對資料分析結果的認可度。這一創新将為企業的數字化轉型和智能化更新提供強有力的支援。

5、EasyMR四大功能深度優化,解鎖全新大資料處理和計算體驗

EasyMR作為數棧中的一個重要産品子產品,代表了我們對大資料生态的深入了解和持續創新。它基于開源Hadoop并與開源社群同步疊代,由我們計算引擎團隊獨立自主研發,對Spark、Flink、Paimon等核心元件進行了特性優化和增強。這些優化不僅提升了資料處理的性能和穩定性,還回饋了社群,促進了Hadoop生态的共建。

數棧+AI:數棧V6.2創新釋出,讓資料開發更智能

EasyMR的能力提升展現在多個方面:它支援Flink任務的熱更新,確定了業務的連續性和靈活性;Spark的Z-Order索引優化和物化視圖支援,提高了資料處理的效率和響應速度;而Flink的Session類加載隔離,則保障了運作環境的安全性和可靠性。此外,EasyMR的自動化遷移功能,使得大規模資料叢集的遷移變得輕松簡單,實時監控遷移過程中的狀态,確定資料的安全可靠。通過這些創新和優化,EasyMR為使用者提供了一個高效、智能、易維護的大資料平台,助力企業在資料管理和分析方面實作質的飛躍。

二、Data+AI能力,讓資料開發更智能

AI技術已經成為推動企業創新和效率提升的核心動力。通過融合生成式AI技術,數棧V6.2已經實作了智能開發、智能調優、智能診斷、智能檢索、智能分析、智能校驗等六大功能,極大地提升了資料處理的效率和品質。

數棧+AI:數棧V6.2創新釋出,讓資料開發更智能

智能調優能夠自動優化SQL代碼,提高執行性能;智能診斷則利用AI解析日志,快速定位問題并提供專業的優化建議;智能分析幫助深入了解資料趨勢,為決策提供有力支援。這些功能不僅提升了開發效率,還確定了代碼品質,能夠以資料驅動的方式,更加精準地實作業務目标。AI+的引入,标志着我們正步入一個更加智能、高效的資料管理新時代。

AI + 智能調優功能,能夠在開發者在編輯器中編寫代碼時提供智能優化建議,讓資料開發同學進行審閱對比。進而提升編碼效率和代碼品質,使得資料開發同學更加聚焦在業務邏輯的實作上。

數棧+AI:數棧V6.2創新釋出,讓資料開發更智能

AI + 智能診斷功能,利用AI技術對Spark SQL、Flink SQL等任務日志進行智能解析,識别報錯資訊,提供專業的SQL優化建議,幫助快速定位問題根源,提升代碼開發效率。

數棧+AI:數棧V6.2創新釋出,讓資料開發更智能

數棧通過與AI+的內建,不僅簡化了資料開發流程,還提高了資料處理的準确性和可靠性,為企業的資料驅動決策提供了堅實的技術支撐。

三、産品+服務,數棧産品商業化政策全新更新

本次産品釋出會,我們重新定義了産品的商業化政策,旨在為不同需求的企業提供靈活多樣的服務方案。

數棧+AI:數棧V6.2創新釋出,讓資料開發更智能

産品系列包括标準版、專業版、旗艦版,并提供應用雲化部署選項,以滿足不同規模企業的資料處理需求。此外我們還提供信創适配和實時湖倉等增值服務,以及系統化運維服務的進階版和頂級版,確定客戶能夠享受到從基礎到進階的全方位支援。數棧産品商業化政策不僅關注産品的售賣,更注重服務的持續優化和更新。通過提供産品更新和版本更新兩條路徑,幫助企業確定資料平台的持續适應性和前瞻性。這樣的政策不僅增強了客戶的使用體驗,也為數棧産品的長期發展奠定了堅實的基礎。

四、三大産品實踐案例,助力企業數字化轉型

1、某銀行:績效考核AI化落地

銀行基于沉澱的績效考核名額,結合企業自有的知識庫,利用AI智能分析和資料處理能力,顯著提升了績效考核的管理效率和治理水準。

數棧+AI:數棧V6.2創新釋出,讓資料開發更智能

我們的解決方案幫助銀行實作了從名額報表到名額看闆,再到名額對話式BI的轉變,大大降低了員工取數用數的成本,使得考核标準更加科學嚴謹,考核内容更加完整,確定了銀行整體業績與員工個人業績的緊密銜接。通過AI智能歸因和智能建議,銀行能夠實時追蹤員工績效結果,及時發現問題并進行調整,進而促進了員工與組織目标的一緻性和績效的持續提升。這一轉變不僅優化了銀行的人力資源管理,也為整個組織帶來了更高的營運效率和業務成果。

2、某中國白酒品牌:輕量化資料中台

通過數棧該品牌建立了統一的營銷平台,幫助企業實作了資料共享、智能标簽、名額管理等多元分析能力,為企業的精準營銷、工藝優化等提供了強有力的資料支援。

數棧+AI:數棧V6.2創新釋出,讓資料開發更智能

該平台通過采用輕量化的資料中台解決方案,結合StarRocks的高性能計算能力,使白酒企業能夠實作資料的高效管理和即時分析。StarRocks的低延遲查詢和快速資料加載特性,使得企業能夠快速響應市場變化,實作故障預測和精準營銷。這樣的輕量化資料中台解決方案,相較于傳統的Hadoop生态系統,在資料體量不大的場景下,其優秀查詢性能、實時資料處理、高并發、易于維護等特點,使其成為實作快速資料分析的理想選擇,推動了白酒企業數字化轉型的步伐。

3、北京市屬國有集團公司:全鍊路信創

為解決企業數字化轉型以及信創要求等問題 , 此客戶建立了“全鍊路信創的大資料平台”。

數棧+AI:數棧V6.2創新釋出,讓資料開發更智能

該平台深度适配信創生态,實作了從伺服器、作業系統、晶片、應用中繼資料庫、中間件和計算引擎的全流程安全防護和私有化部署。通過這樣的全鍊路信創适配,集團不僅解決了資料孤島問題,還滿足了國家對信創的嚴格要求,確定了資料的安全性和可控性。這一舉措顯著提升了集團的資料治理能力,為企業的長遠發展奠定了堅實的資料基礎,同時也為其他國有企業提供了寶貴的信創實踐經驗。

以上就是數棧V6.2的釋出介紹,它不僅僅是一個産品,更是我們對大資料治理、智能化分析的深刻了解和實踐總結。我們相信,通過數棧V6.2能夠幫助更多企業實作資料的價值最大化,推動企業的數字化轉型。

繼續閱讀