現代資料棧MDS應用落地介紹—MozartData資料驅動從未如此簡單

Dazdata MDS

Mozart Data創立于2020 年，已成功為 Clover Health、Eaze、Opendoor 和 Yammer 等高增長初創企業建構和實施資料管道和工具，是用于集中、組織和分析資料的一體化現代資料平台。

背景

随着公司跨部門積累更多資料——使用者資料、訂單詳細資訊、營銷名額等。— 它達到了這樣一個地步，即使用人力資源（通常是分析師或工程師）手動拉取、合并、清理群組織資料集不再具有良好的商業意義。如此繁重的任務經常使熟練而昂貴的員工遠離需要他們專業知識的不可轉移的高價值工作。幸運的是，技術更适合執行此工作流程。

現代資料平台及其中的資料平台服務（有時稱為資料平台即服務）使公司能夠從員工轉向技術，同時通過內建和自動化優化其資料管道。在本文中，我們将解釋現代資料平台的元件、最常用的資料平台服務，以及MozartData工具如何幫助企業更快、更好地建立端到端資料管理。

什麼是現代資料平台？

術語“現代資料平台”可以被認為是完整的軟體包。它包括資料管道的必要核心元件，統稱為現代資料堆棧：ETL（提取、轉換、加載）、資料倉庫和資料轉換層。當企業擴充到現代資料堆棧之外時，他們正在添加資料平台服務，其中包括資料可靠性、資料可觀測性和資料編目。

需要注意的是，現代資料平台與客戶資料平台 （CDP） 不同，後者建立了一個客戶接觸點和互動的集中式資料庫。

如何設定現代資料堆棧的元件？

可以通過兩種方式為您的企業建立現代資料堆棧：組裝一系列單獨的解決方案或選擇多合一工具如MozartData。

采用第一種方法的公司通常認為它具有成本效益，因為他們通常會随着時間的推移而增加零件，因為他們覺得需要它們。漸漸地，他們朝着多合一工具的功能努力。但是，這樣做會迫使企業繼續依賴手動工作來處理現代資料堆棧中缺少的部分;這就是資料工程師經常需要的地方。連接配接這些工具并維護通過它們的資料流也經常需要工程師的支援。不建議采用這種零敲碎打的方法，因為事實證明它既沒有效率也沒有成本效益。

一體化工具使企業能夠将工作量從人員無縫轉移到技術上，而不是在建構階段效率低下。此外，現代資料堆棧的基本工具是互相關聯的，并且在共同營運時可以作為技術解決方案和支援公司的業務目标時發揮最佳作用。這就是為什麼選擇像莫紮特資料這樣的開箱即用的內建工具既高效又具有成本效益的原因，它使用 Fivetran 支援 400+ 資料連接配接器，使用 Snowflake 提供資料倉庫，以及基于 SQL 編輯器建構的資料轉換層。莫紮特資料的現代資料堆棧可以由那些幾乎沒有技術專長的人建立，并且成本隻是其他選項的一小部分，這要歸功于Snowflake和Fivetran的合作夥伴折扣。我們的解決方案還包括資料可觀測性、資料可靠性和資料編目，是以您可以将這些工具與資料平台政策聯系起來。

資料可觀測性作為資料平台政策的一部分

如前所述，添加資料平台服務時，新式資料堆棧将擴充到新式資料平台。其中最重要的是資料可觀測性。

資料可觀測性使你能夠監視資料的運作狀況，并快速識别問題及其來源，例如資料轉換錯誤或未同步的相關表。将資料可觀測性作為資料平台服務，利益幹系人可以檢視整個資料管道中的資料沿襲，包括源表、這些表的資料轉換、生成的表、版本曆史記錄以及依賴項的快速概覽視圖。

擁有快速可視化指南，使您能夠了解資料沿襲，這也使自動化更加可行，因為它可以幫助您決定執行同步資料源和運作轉換等操作的頻率。例如，您将能夠輕松識别哪些源表用于多個不同的資料轉換，并且您可能決定更頻繁地更新這些源表。同樣，如果您的倉庫中有可供通路的資料，但沒有進行主動轉換，則可以決定不每天同步這些表，進而使用 Fivetran 節省每月的活動行。

資料可靠性作為資料平台戰略的一部分

資料驅動始于資料可靠性。您需要能夠相信您的企業正在使用的資料是完整、準确和最新的。隻有這樣，您才能對根據這些資料建立的分析和建議充滿信心。資料可觀測性和可靠性是企業資料平台架構的連接配接部分，因為前者使您能夠掃描管道的可視化并确認沒有任何損壞。

您的資料平台公司應将警報作為資料可靠性服務的一部分，因為它們可以幫助企業主動捕獲和調試問題。有兩種重要的警報類型。

1. 自動警報：如果表上滿足某些條件，這些警報允許您收到通知。例如，如果指定列中缺少值，或者值超過定義的數量，則可能會标記錯誤或裡程碑成就。

2. 轉換測試警報：如果轉換出現問題，這将通知你并暫停該過程。例如，如果資料過期或跟蹤結果（如異常高或低的傳回值），您可以收到警報。

資料編目作為資料平台政策的一部分

編目可組織資料資産（标記、标記和文檔），使其更易于了解、查找和使用。這對于擴充團隊尤其重要，因為它為每個人提供了共享詞彙表和查找所需資訊的有效方法。

有助于資料編目的功能包括建立表和轉換的标記、說明和注釋。個人可以收藏表并輕松檢視最近通路的表，以立即回答業務問題。

如何使用MozartData建立現代資料平台

如果沒有大量的人力資源，手動管理所有這些資料平台服務幾乎是不可能的，這就是我們為您管理的原因。MozartData提供了一個開箱即用的現代資料平台，該平台具有内置的技術內建和工具，可實作可觀測性、可靠性和編目，是以組織中的任何人都可以查找和使用完整、準确和最新的資訊。當個人擁有這些能力時，無論他們是否非常技術化，您都可以節省他們和業務時間，并確定他們從事有影響力的項目。

我們直覺的工具使您的團隊可以輕松地從手動資料管理轉向自動化，并快速開始使用上述資料服務。