變更資料捕獲：愛彼迎、網飛和優步的關鍵環節

譯者 | 布加迪

審校 | 孫淑娟

現代資料堆棧（MDS）是數字颠覆者的基礎。不妨以網飛（Netflix）為例。該公司開創了一種基于視訊即服務的新商業模式，但其成功主要立足于實時流資料。

網飛在使用分析工具向觀衆推送高度相關的推薦内容。它監控實時資料，對網絡性能保持持續可見性。它在同步影片和節目資料庫，Elasticsearch讓使用者能夠快速輕松地找到所尋找的内容。

這必須是實時的，必須百分之百準确。老式的提取、轉換和加載（ETL）太慢了。為了滿足這個需求，網飛建構了一個名為DBLog的變更資料捕獲（CDC）工具，該工具可捕獲MySQL、PostgreSQL及其他資料源方面的變更，然後将這些變更内容流式傳輸到目标資料存儲系統，供搜尋和分析所用。

網飛需要高可用性和實時同步，還需要盡量減少對營運資料庫造成的影響。CDC以資料庫日志作為輸入源，按照發生的順序将變更内容複制到目标資料庫，是以它可以捕獲及時出現的變更内容，而不會鎖定記錄或以其他方式阻礙資料源資料庫。

資料可謂是網飛業務的核心，但在這方面它并非孤例。優步、亞馬遜、愛彼迎和Meta等公司之是以蓬勃發展，是由于它們真正了解如何讓資料為己所用。資料管理和資料分析是這些組織的戰略支柱，而CDC技術對于它們能夠執行核心任務起到了關鍵作用。

幾乎所有在當今商業環境中處于領先地位的公司都是如此。如果您希望貴公司成為頭部玩家，就需要更新改造并駕馭資料。競争對手肯定已經在這麼做了。

1.亞秒級內建是愛彼迎和優步的新标準

當下，卓越的客戶體驗（CX）需要實時資料流。愛彼迎認識到了CDC技術在為其客戶和房東打造出色CX方面的價值。它也建立了自己的CDC平台，名為SpinalTap。愛彼迎的動态定價、房源可用性和預訂狀态要求所有系統之間具有完美的準确性和一緻性。當愛彼迎客戶預訂房源時，他們希望工作流程非常快速，且百分之百準确。

對于優步來說，即時性可以說尤為重要。無論客戶在等待乘車前往機場還是訂購外賣，時間至關重要。就像網飛和愛彼迎一樣，優步開發了自己的CDC平台來實時同步多個資料存儲系統中的資料。同樣出現了一系列共同的要求。優步需要其解決方案極其快速和容錯，資料丢失為零。它還需要一種不會降低資料源資料庫性能的解決方案。

2.面向普通公司的變更資料捕獲

CDC再次符合要求。在過去，隔夜批處理模式ETL可能足以提供每日執行更新或營運報告。如今，實時越來越成為常态。如果說資訊就是力量，那麼即時擷取資訊就是超強力量。

這就是為什麼CDC迅速成為了現代資料堆棧的基本要求。不過，網飛、愛彼迎和優步等大公司擁有建構定制CDC平台的資源，那其他普通公司呢？

現成的CDC解決方案在填補這一空白，提供相同的低延遲、高品質流管道，無需從頭開始建構。

遺憾的是，它們并非天生一樣。大多數公司營運一系列系統來處理企業資源規劃（ERP）、客戶關系管理（CRM）或專門的營運職能（比如采購或人力資源）。

這些系統在不同的資料庫平台上運作，使用不一緻的資料模型。如果一家公司營運大型機系統，它很可能處理難以與現代關系資料配合使用的怪僻資料結構。

這使得異構內建變得尤為重要。這需要連接配接到多個資料源和目标，包括SAP、Oracle、IBM DB2和Salesforce等事務資料庫。這意味着向Databricks、Kafka、Snowflake、Amazon DocumentDB和Azure Synapse Analytics等平台提供實時流資料。

3.實時CDC自動化

為了推動人工智能（AI）和進階分析，企業需要将資料推送到一個通用的MDS平台。這意味着從各種資料源擷取資訊，将其轉換成适用于分析的統一模型，并将其傳遞到基于雲的現代資料平台。

變更資料捕獲技術是資料驅動價值鍊中的關鍵環節——先通過自動從資料源系統提取資料，然後将其動态轉換并傳遞到雲資料平台。實時CDC自動化確定合适的資訊立即到達合适的位置。

由于隻關注已變更的資料，流式CDC管道與過去的批處理模式操作相比有巨大的效率優勢。最好的CDC解決方案不到30分鐘就可以将100多TB的資料從資料源傳送到目标，并實作零資料丢失。

向雲計算的轉變仍在進行。尤其是雲分析工具為真正了解資料有望轉變業務的公司提供了明顯的優勢。各行各業的領先公司在圍繞資料分析工具調整其戰略願景。它們正在将與客戶的互動實作數字化，使用算法來研究資料、提取見解并采取行動。AI和機器學習在攝取大量資訊、發現關聯并識别異常。

無論您在數字化颠覆方面處于領先，還是隻是緊跟潮流，CDC技術都将在使現代資料堆棧成為現實、向數字化轉型敞開大門方面發揮關鍵作用。

原文連結：

https://venturebeat.com/data-infrastructure/change-data-capture-the-critical-link-for-airbnb-netflix-and-uber/