天天看點

12款開源資料資産(中繼資料)管理平台選型分析(三)

12款開源資料資産(中繼資料)管理平台選型分析(三)
12款開源資料資産(中繼資料)管理平台選型分析(三)

如上,是ChatGPT的百度指數和微信指數,繼2022年12月上旬技術圈火熱之後,因為微軟、谷歌等巨頭的推廣加持,ChatGPT成為全球大衆熱源的話題。各大媒體都在消費這波輿論紅利,打開微信公衆号,劈天蓋地各種姿勢的ChatGPT推文。關于ChatGPT是否會替代人類的文章,在各個領域和行業都在讨論。

那麼,對于資料從業者而言,我覺得應該是不用太擔心的哈。ChatGPT就是一個吃海量、高品質資料的怪獸。它越流行,資料從業者就越被需要。是以,資料人要掌握好資料采集、資料處理、資料治理(中繼資料管理、資料品質)的知識和工具。

本文是【12款開源資料資産(中繼資料)管理平台選型分析】系列的前兩篇12款開源資料資産(中繼資料)管理平台選型分析(一)、12款開源資料資産(中繼資料)管理平台選型分析(二)得到了一些朋友的鼓勵和肯定,本文是該系列第三篇,介紹的是4款商用資料資産平台,它山之石可以攻玉吧。如何隻喜歡開源研究的夥伴,可以不用完全看完了。

說好的12款開源資料資産(中繼資料)管理平台,隻介紹了8款,欠下的4款開源平台,後續補上。

後續,計劃寫【16款開源資料品質管理工具選型分析】、【33款開源資料內建/同步工具選項分析】等資料中台開源技術,歡迎大家持續關注。

如果你急着看這些元件的全貌,請移步【最全大資料開源元件思維導圖】(https://www.jianshu.com/p/5eead28f01a0)查閱,該文檔整理了大資料生态的開源技術元件思維導圖,至今有4K+的下載下傳量。

下圖是12款資料資産(中繼資料)管理平台的橫向、多元度對比全家福。大家可以作為選型的參考,當然,本系列文章中,每個平台都做了較為詳細的分析,可以針對每個平台做細緻的調研。

12款開源資料資産(中繼資料)管理平台選型分析(三)

本文整理剩下的四款(Atlan、Alation、Ataccama、Monte Carlo)開源資料資産平台,并簡單分析其優缺點,供選項參考。

12款開源資料資産(中繼資料)管理平台選型分析(三)

Atlan

12款開源資料資産(中繼資料)管理平台選型分析(三)

開源位址:https://github.com/atlanhq

Atlan将中繼資料管理、資料治理作為一種協同工作台,這種設計讓資料使用者和維護者,有種天然的感覺:資料治理是一種日常的工作。具有豐富的功能,例如資料目錄和發現、資料血緣和治理以及資料探索和內建。内置支援多種資料品質工具。

Atlan的優點:

  • 功能豐富、支援協同工具,Slack等內建
  • UI界面美觀、操作指引友好
  • 内置支援多種資料內建工具及資料探索工具

Atlan的不足:

  • 其實是商用産品,部分開源

相關介紹:https://atlan.com/

選型建議:1)隻能自研做參考學習,不能拿來主義。

Alation

12款開源資料資産(中繼資料)管理平台選型分析(三)

開源位址:無

Alation是一個資料目錄,它優先考慮處理資料的人的方面。它支援許多有用的功能,以加快登入、查詢重用和自動化管理。最重要的是,它的UI簡單、一緻且直覺。但是,如果您要使用Alation,請記住它有一個自定義的攝取協定,并且缺少ML實體。這對于想要超越簡單分析和商業智能,進入AI/ML領域的企業來說至關重要。

相關介紹:https://atlan.com/

選型建議:隻能自研做參考學習的榜樣,不能拿來主義。

Ataccama

12款開源資料資産(中繼資料)管理平台選型分析(三)
12款開源資料資産(中繼資料)管理平台選型分析(三)

開源位址:無

Atacama是一個人工智能驅動的資料和中繼資料企業平台,具有資料品質、主資料管理和資料內建元件。該平台的UI很好,它使快速分析團隊、高度監管的治理團隊和技術資料團隊能夠輕松處理其資料資産。Atacama的一大優點是它的設計非常注重資料品質。這對于靈活、資料驅動的組織至關重要。

相關介紹:https://www.ataccama.com/

選型建議:隻能自研做參考學習的榜樣,不能拿來主義。

Monte Carlo

12款開源資料資産(中繼資料)管理平台選型分析(三)

開源位址:無

Atacama是一個資料平台,可幫助資料團隊解決資料停機問題,使他們能夠更有效地處理儀表盤,更快地訓練更準确的ML模型,并推動分析操作。該平台廣泛關注機器學習驅動的資料可觀測性,這為資料團隊提供了深入研究資料和大規模識别潛在問題的進階能力。這使得蒙特卡洛在資料可觀測性方面比其競争對手具有相當大的優勢。

與許多其他專有資料目錄解決方案一樣,蒙特卡洛将使用者鎖定到自己的資料接收協定中。它還缺少某些ML實體,這可能會破壞當今許多組織的交易。

相關介紹:https://www.montecarlodata.com/

選型建議:隻能自研做參考學習的榜樣,不能拿來主義。

總結

随着智能硬體及物聯網的快速發展,企業與政府數字化轉型的深入、AI不斷重新整理人類的認知、資料資産成為第五要素,資料采集、資料存儲、資料計算、資料治理等技術,必将迎來新的一輪發展與突破。如何管好、用好存量海量資料及源源不斷産生的增量海量資料,資料治理的技術、組織面臨着重大的挑戰。

或許,這就是各大集團性企業、特别是國有企業,大量高薪招聘資料治理專員的原因吧。你準備好了麼?

繼續閱讀