天天看點

資料治理的王者——Apache Atlas

資料治理的王者——Apache Atlas

在當今大資料的應用越來越廣泛的情況下,資料治理一直是企業面臨的巨大問題。

大部分公司隻是單純的對資料進行了處理,而資料的血緣,分類等等卻很難實作,市場上也急需要一個專注于資料治理的技術架構,這時Atlas應運而生。

Atlas官網位址:https://atlas.apache.org/

Atlas是Hadoop的資料治理和中繼資料架構。

Atlas是一組可擴充和可擴充的核心基礎治理服務,使企業能夠有效,高效地滿足Hadoop中的合規性要求,并允許與整個企業資料生态系統內建。

Apache Atlas為組織提供了開放的中繼資料管理和治理功能,以建立其資料資産的目錄,對這些資産進行分類和治理,并為資料科學家,分析師和資料治理團隊提供圍繞這些資料資産的協作功能。

資料治理的王者——Apache Atlas

Atlas支援各種Hadoop和非Hadoop中繼資料類型

提供了豐富的REST API進行內建

對資料血緣的追溯達到了字段級别,這種技術還沒有其實類似架構可以實作

對權限也有很好的控制

資料治理的王者——Apache Atlas

Atlas包括以下元件:

采用Hbase存儲中繼資料

采用Solr實作索引

Ingest/Export 采集導出元件 Type System類型系統 Graph Engine圖形引擎 共同構成Atlas的核心機制

所有功能通過API向使用者提供,也可以通過Kafka消息系統進行內建

Atlas支援各種源擷取中繼資料:Hive,Sqoop,Storm。。。

還有優秀的UI支援

資料治理的王者——Apache Atlas
資料治理的王者——Apache Atlas

大資料流動 專注于大資料實時計算,資料治理,資料可視化等技術分享與實踐。

請在背景回複關鍵字下載下傳相關資料。相關學習交流群已經成立,歡迎加入~

資料治理的王者——Apache Atlas

繼續閱讀