實時計算實踐：快速分析實時資料的解決方案

在過去幾年裡，實時計算的受歡迎程度呈爆炸式增長。這源于網際網路、物聯網、人工智能技術的高速發展，以及國家政策層面的大力支援。然而，在企業層面上，實時計算這種技術仍難以得到有效應用。究其原因，主要在于技術門檻高，開發、運維成本難以控制，缺乏成熟的産品化功能。

選擇一款合适的智能實時計算平台可以更加靈活快速地實作業務分析，億信華辰的PetaBase-i就能解決。

實時分析的困境

越來越多的企業對于實時分析有着強烈的需求，需要更多的實時資料支撐更加靈活的商業決策。但是，一些現實問題又阻礙了它們的實作。

資料來源廣，格式雜。通常一家機構的源資料除了來自于ERP系統、CRM系統等傳統業務系統外，還包括如裝置日志、網絡爬蟲、傳感器等其他外部應用。這些源端資料，類型、結構完全不同，整合難度大。

資料标準不統一，資料品質低。許多企業的資訊化建設，或因頂層設計缺失，或因某些曆史原因等，緻使備援資料過多，而有價值的資料存在于各個資訊孤島之間，碎片化的資訊阻礙了決策層透視全局。

資料計算時效性差。現在工業物聯網的資料量可以每天達到萬億。而大量的資料價值有限期非常短，是以企業需要實時分析并擷取可立即采取行動的商業見解。傳統的離線批處理（T+1）模式無法滿足需求。

解決方案

針對這些問題，億信華辰提供了一套端到端的解決方案。借助PetaBase-i實時計算功能，幫助企業使用者不斷實踐、完善可落地的實時分析應用。PetaBase-i提供多種資料源快速接入及靈活應用開發能力、可視化資源管理及營運監控服務，滿足客戶對海量資料的實時統計分析需求，幫助實作高效管理。

值得關注的是，PetaBase-i使用了億信華辰自主研發的實時流資料內建加工套件PB StreamCollector。它是一個側重資料內建、資料加工流程建構的實時流資料管理工具，旨在簡化建構、執行和操作企業資料流。

• 使用者可以友善的接入不同的資料源，并且完成資料加工流程的建構。
• 可視化的資料流建構設計器，并且能夠對運作态的資料應用進行監控。
• 使用者幾乎不需要編寫代碼就可以輕松建構批處理和流式資料流。

應用場景

場景一：實時采集

1、廣泛的資料源支援，适用多樣化采集場景

PetaBase-i大大降低了實時資料接入的難度，廣泛的資料源支援使其能适應多樣化的采集場景。例如，在零售、金融行業，企業往往會使用rdbms來支撐前端OLTP聯機交易系統（CRM、ERP等），PetaBase-i提供了基于CDC機制的實時采集功能，可支援的rdbms類型包括：Oracle GoldenGate/LogMiner、MySQL Binary Log、PostgreSQL WAL、SQL Server Change Tracking等。它能基于日志級/事務級/行級資料進行跟蹤并自動捕獲，通過簡單的配置來自定義捕獲政策，靈活設定被監控的對象（庫、表、使用者）和操作（增、删、改）。

不僅是關系型資料庫，PetaBase-i亦可基于MongoDB等NoSQL資料庫的事務日志進行采集，滿足那些延伸了網際網路業務的企業對新業态資料的實時分析需求。

2、豐富的通信協定接口 ，最大化地簡化采集作業

目前，工業物聯網建設如火如荼，工業裝置互聯、工業資料采集和工業裝置狀态監控與分析是企業建設的重點内容。在這其中，資料采集和監控分析是企業最關注的。而缺乏統一行業協定及網絡接入标準是阻礙企業實作實時采集的主要問題。

為了解決這類問題，億信華辰在PetaBase-ir中內建了一系列通信協定接口以最大化地簡化采集作業，包括從MQTT、OPC UA、REST Service、SFTP/FTP/FTPS Client、WebSocket、TCP Server和UDP Source等網絡标準協定到Amazon S3、Azure、Google Cloud等雲存儲協定。

豐富的協定支援，使得使用者在對複雜場景采集時擁有更多、更靈活的選擇。如果端點裝置使用了不被支援的協定，那麼我們需要使用物聯網網關先對協定進行轉換，進而讓它們能夠與PetaBase-i進行通信。

場景二：預警實時分析

在物聯網高速發展的大環境下，将實時内容轉變為有用的分析，如車輛突發故障、工廠中的房間裝置停運等場景，是各企業關注的重中之重。而為批量操作建構的傳統分析系統不适用于這樣的場景，它無法針對大規模資料進行處理流和近實時資料，做到諸如狀态告警、故障預測等實時分析。但是，PetaBase-i可以。

不同于傳統分析系統那樣批量處理資料項，實時分析系統是監聽通過某種協定發送資訊的成千上萬，甚至百萬級的物聯網裝置，當所有的資訊湧入時，需要消息隊列來保證通信效率。當流資料通過消息隊列時，PetaBase-i會對其進行緩沖，然後使用自适應流處理服務（PB StreamProcessor）将實時轉換規則應用于資料，這樣就做到了為實時内容轉為實時分析。

總體來說，PetaBase-i最具特點的地方在于它的靈活性與易用性，你可以将它的價值擴充到各種靈活分析場景和實時采集用例中去。