上次舉辦了主題為：“UnlockSAP Data”的webinar後，很多小夥伴都很感興趣（要是還沒看趕緊去看錄像啊~~），但是因為是英文的，不是很明白。這裡跟大家再具體介紹一下。
SAP的ERP産品經過了多年的發展， 目前主要有2個版本， 老的ECC和新釋出的S4HANA。 S4HANA是革命性的新産品， 但上市時間不久， 大部分的老使用者應該還是使用的ECC。
如何”解鎖“HANA的資料，我們下次再聊， 今天我們就主要聊聊ECC。
ERP系統在絕大多數企業都是最為核心的系統， 這麼重要的系統，其中存放的資料也是非常寶貴的， 為了挖掘這些資料的價值， 企業紛紛上線了各種報表，BI甚至大資料分析系統。但是這些系統通常不能也不會直接在ERP的資料庫上運作。
但是想要擷取ECC系統的資料是件很複雜的事情。這是由于大部分的業務資料， SAP将它們封裝起來，以二進制對象的方式存在表的LOB字段裡，這些表叫cluster table或者pooled table。讀取這些資訊，需要使用專門的ABAP語言程式設計，然後再傳輸DW系統供使用者分析使用。
關于這一點，我們可以用相對“靜态”的物料主資料來舉個例子。
首先，你需要業務顧問寫好包含程式處理邏輯的功能說明書，定義清SAP在何種情況下觸發程式，需要傳輸哪些字段資料，同時在程式裡包含哪些邏輯條件，總之，說明書寫的越詳細，ABAP開發顧問就越容易了解開發需求，也就越能準确實作業務顧問想實作的功能。有了功能說明書之後，開發顧問就可以着手開發ABAP程式來傳輸資料了。一種比較簡單的方法是可以在SAP中定義增強程式，當物料建立、修改時，隻要在SAP系統中對物料主資料更新儲存成功後，會自動調用增強程式将物料資訊推送給目标系統，并根據目标系統的響應在SAP中記錄推送結果。
聽上去似乎也不是太複雜，ABAP老司機也許幾個小時就完成了開發測試一條龍服務…
但是，這僅僅是一個物料主資料同步的接口，如果有很多不同的主資料呢？如果業務顧問有那麼一點點不靠譜，說明書寫的雲山霧罩呢？如果ABAP開發顧問并不是一個老司機呢？嗯，Will you make a wish, make a wish,閉上眼睛 願望是口井，Make a wish make a wish，你會聽見真誠的回音……
而且，這還是“靜态”資料，如果是交易資料，再假如業務忙碌那麼一些，那麼程式很可能就跪了。說個笑話，某公司SAP和MES系統的內建，關于生産訂單的投料和工序确認資料同步，一開始設定的同步時間是5分鐘，一個月後改成了10分鐘，半年後改成了半小時…
對于ERP系統來說，資料是不斷發生變化的，那麼DW裡的資料隻能通過ETL的方式從ERP系統進行批量抽取，如果抽取頻率太高，又會對ERP的運作産生很大的壓力，是以一般來說DW的資料都是采用T+1的方式從生産系統抽取。
随着時代的發展，現在的企業越來越依賴資料分析支撐決策，越早拿到最新的資料進行分析，就越容易及時做出正确的決策，進而在殘酷的商業競争中搶占先機。是以實時資料擷取是個很重要環節。
那麼，有沒有什麼好的方法，能夠解決資料傳輸的效率問題，能夠大幅減少工作量而又簡單易用呢？
下面我們就來談談HVR。
HVR是一家專注在實時資料內建領域的技術方案提供商， 許多世界頂級的企業都是HVR的使用者， 例如通用電氣， 波音飛機等等。HVR資料內建解決方案的基本特點是基于資料庫事務日志的連續資料變化捕獲技術（CDC）。簡單的說就是通過直接讀取生産資料庫的事務日志就可以捕獲業務資料的變化資訊，這就避免了對資料庫的SQL查詢通路，不會對資料庫系統産生壓力，是一種非侵入式的資料捕獲技術；由于對資料庫的事務日志的分析是實時進行的，是以資料抽取的延遲時間也可以縮減到秒級，充分滿足企業對于實時BI或者實時大資料的要求。
那麼對于ECC裡的cluser/pooled table怎麼辦呢？别着急， HVR提供了一個名為SapXForm的插件，可以在資料捕獲的同時将LOB對象資料“解鎖“為标準的格式化資料。舉個例子：
假設我們現在需要将SAP ECC中的資料複制到位于雲上的AWS Aurora大資料分析平台。我們隻需要使用HVR完成以下步驟:
- 定義資料源
給出資料庫（例如oracle）的通路資訊（位址、使用者名、密碼等）
2. 定義資料目标
目标資料庫可以是在本地或異地的資料中心，也可以在雲上。 HVR支援各種異構場景的資料實時同步。在這裡， 我們以AWS的Aurora大資料分析平台為例：
3. 定義需要複制的對象
假設我們需要擷取SAP系統中業務代碼為BSEG（财務憑證行項目）和T030（科目自動記賬定義）的資料，我們可以直接在選取表的時候按業務代碼過濾找到需要的表
4. 定義複制規則
在HVR中，複制的規則也被成為”Action”, 隻需要簡單的定義如下規則就可以完成資料的抽取，轉換（”解鎖“）和裝載的工作流程。
5. 啟動初始化同步資料和實時增量同步作業
HVR貼心的提供了線上初始化同步功能， 這樣在進行首次存量資料的同步的時候，就不用中斷業務啦。嗖的一下， 資料就自動整整齊齊分門别類的放到DW中去， 使用者就可以随時使用報表查詢工具或者分析工具來使用這些資料啦。
在我的筆記本上， 這十幾萬條記錄隻花了22秒鐘的時間。
怎麼樣， 10萬多條記錄的T030表，即使使用我的筆記本電腦來測試也隻用了5.1秒就完成了資料比對，這速度是不是杠杠的呀?
7. 資料查詢
完成以上工作後， ECC系統的資料就可以被實時的同步到你的資料倉庫或大資料平台上了。 資料也被解鎖為标準的資料格式， 供使用者直接通路。
最後， HVR可以将資料多種不同類型的平台之間進行複制，快看看有沒有你感興趣的?