天天看點

星環科技TDS 2.4.0 釋出:資料開發、資料治理、資料營運套件再更新

星環科技TDS 2.4.0 釋出:資料開發、資料治理、資料營運套件再更新

近日,星環科技大資料開發工具 Transwarp Data Studio 2.4.0版本重磅釋出,新版本中資料開發、資料治理、資料營運三大套件能力全部更新,讓資料開發更便捷、資料治理更高效、資料營運更智能。本次更新的核心能力如下:

資料開發套件,助力企業完成資料統一化

星環科技TDS 2.4.0 釋出:資料開發、資料治理、資料營運套件再更新

資料開發套件包含了大資料整合工具 Transpoter、資料庫線上開發與協同工具 SQLBook 和任務排程軟體 Workflow ,該套件作為星環科技大資料基礎平台 Transwarp Data Hub 的生态開發應用工具,針對資料開發場景,提供資料內建、SQL 開發和任務排程的能力,幫助企業将資料歸集到資料湖倉,完成資料統一化的過程。

星環科技TDS 2.4.0 釋出:資料開發、資料治理、資料營運套件再更新

在 2.4.0 版本中資料開發套件進行了如下更新:

  • 任務流排程子產品新增了 Python , JAVA , R , Scala 類型任務排程能力支援;增加自定義月曆能力,任務可以在月曆下進行排程執行;增強參數能力,新增工作區參數,加密參數,臨時參數,支援參數跨服務、任務流引用和傳遞;支援非容器化部署執行器;
  • 資料內建子產品新增支援文本檔案、Excel檔案的離線資料加載;對接告警中心,支援添加告警規則,并支援郵件,站内信,短信發送;支援在目标端配置自動建立分區表等;
  • SQL 開發子產品新增函數管理能力以及 SQL 參數能力。

資料開發套件的三大核心優勢:

  • 分布式架構設計,可支援PB級别的資料平台建設,支援日均十萬級任務排程,性能可擴充;
  • 支援 SQ L關鍵詞和 SQL 片段推薦,資料開發知識積累,智能化持續優化開發體驗和開發效率;
  • 基于大資料平台計算能力提供資料轉換能力,避免傳統ETL工具本身的計算瓶頸。

資料治理套件,完成資料資産化

星環科技TDS 2.4.0 釋出:資料開發、資料治理、資料營運套件再更新

資料治理套件,針對企業過去資訊系統煙囪式的建構方式以及資料開發和管理過程不規範的問題,提供資料治理能力,幫忙企業進行資料資産盤點、資料标準統一和解決資料品質問題,完成資料資産化的過程。

星環科技TDS 2.4.0 釋出:資料開發、資料治理、資料營運套件再更新

TDS 的資料治理套件作是基于星環資料治理咨詢方法論的、一站式的面向企業各類資訊系統的資料管控平台,內建中繼資料管理、資料标準管理、資料質管理量等子產品,提供全生命周期資料治理能力。

在 2.4.0 版本中資料治理套件進行了如下更新:

  • 資料治理子產品新增資料模型管理能力,提供邏輯模型和實體模型的開發和管理能力;
  • 中繼資料子產品增強中繼資料自動采集範圍,新增支援 KunDB、達夢、SAP HANA 等資料源類型;支援批量訂閱中繼資料;
  • 資料标準子產品新增主資料标準類别;優化品質檢查報告和落标檢查報告,提供維護人員和治理人員兩種視角的報告内容和入口;資料品質子產品新增支援在品質任務中自定義配置品質參數值功能;
  • 資料治理套件各子產品各類型任務接入通知中心,支援多種通知管道以及通知觸發條件配置;

數治理套件的核心優勢

  • 可以事前通過 TDS 内置知識庫,對行業文獻、企業内部知識文檔以及已有的資料标準、标規則内容,進行智能解析和知識沉澱,擴大資料标準對标的支撐業務主題範圍,提高推薦準确率。同時,可以根據使用者對推薦結果的判定行為對智能推薦算法進行自動化疊代和優化;
  • TDS 資料治理套件是一站式産品架構,由完整的資料治理功能子產品組成,并內建至統一平台中,各功能子產品根據資料治理方法論有機的形成功能關聯和流程,提供一站式工具應用體驗;
  • TDS 資料治理套件提供基于星環大資料技術的資料治理任務執行能力,高效完成資料治理作業。

資料營運套件,助力資料營運平台建設

星環科技TDS 2.4.0 釋出:資料開發、資料治理、資料營運套件再更新

資料營運套件包含:資料服務平台 Midgard、标簽平台 Starviewer、資料商城 Foresight。提供資料标簽體系建構和自助取數,直接對接數字化轉型應用的 API 開發和管理,并能将上述套件産生的資料産品在統一的共享門戶中進行企業内部共享交換,将企業各類型資料資産以分析、服務和共享的方式提供服務,發揮資産價值,最終支撐數字化轉型相關應用,完成資料業務化的過程,并提供資料資産共享互動,建構企業資料生态化,助力資料營運平台建設。

星環科技TDS 2.4.0 釋出:資料開發、資料治理、資料營運套件再更新

在 2.4.0版本中資料營運套件進行了如下更新:

  • 資料服務子產品新增 SQL 模式建立 API,支援查詢類 SQL 和非查詢類 SQL;支援管理業務分組,對 API 資源進行隔離和管控;新增API路由配置;
  • 資料商城子產品新增支援對資源編目進行可見範圍控制,支援按照機構粒度選擇可見範圍;支援的資源類型擴充,新增資料标簽、非結構化檔案兩類資源;支援配置資源的共享類型(有條件共享/無條件共享);
  • 新增資料标簽開發平台子產品,提供多種類型标簽的開發、管理、釋出、下線等生命周期管理能力,提供基本的标簽資料分析能力;提供将釋出後的标簽資料在資料商城提供對外共享的能力;

目前,星環科技 TDS 已經在金融、能源、政府、醫療等多個行業落地,海洋石油富島公司借助 TDS,建設了大資料技術平台及體系化的資料資産管理平台,實作技術業務化、資料業務化,實作化工生産過程的降本增效,推進公司數字化轉型;某醫學大資料研究平台通過 TDS 的資料資産定義、資産目錄建立、資料溯源、資料全程監控及資産評估改進工具,實作資料資産的全生命管理,為研究所建構了高性能、高可靠性、高安全性及可擴充性的醫學大資料研究平台,實作了醫療資料的規範化、流程化、品質化,幫助研究所專業的醫學資料分析團隊高效挖掘病曆樣本等科研資料的價值,落地科研業務,保障科研進度的穩步推進;華夏基金基于TDS,融合了 TA(Transfer Agent開放式基金登記過戶)系統、OTS(Online Trading System 網上交易)系統、反洗錢系統、會計系統、資訊系統、交易系統及直銷和代銷資料,為營銷資料中心、反洗錢系統、投研名額系統、資料分析等業務應用建立了數倉、數集及專用庫,對投研名額系統相關資料進行了遷移與整合,為華夏基金建構基于大資料等技術的統一分析數倉打下了平台基礎。

繼續閱讀