天天看點

Tapdata 在數字化防疫場景的最佳實踐

Tapdata 在數字化防疫場景的最佳實踐

2020年,一場飛來時疫,讓全人類措手不及。疫情兩年,還在持續變異的新冠病毒以摧枯拉朽之勢,吞噬着我們正常的生産生活。

在“動态清零”總方針和“外防輸入、内防反彈”總政策的指導下,國内疫情防控工作漸趨規範化、常态化。各地區積極有序地應對突發狀況,實施精準防疫,健康碼、行程卡、疫情地圖、核酸追蹤、風險人員軌迹追蹤……各類防疫應用和手段層出不窮,數字化防控管理是此番我們同疫情較量的一大銳利武器,防疫戰同時也是一場資料戰。

如何發揮自身在疫情防控工作中的主導作用,充分利用資料技術,凝聚涉疫資料的力量,牢築防疫的“資料屏障”,也是各級政府部門在防疫工作推進過程中不斷探索的問題。

01

數字化疫情防控管理的三大難點

① 多源防疫資料難以被高效打通

疫情防控作為一場全體社會成員空前緊密協同的聯合作戰行動,無疑需要各個部門系統的通力配合,這也就直接導緻了涉疫資料來源的多樣化和複雜性——流調、核酸、疫苗、隔離等多個系統每天都在産生大量防疫工作相關資料。而這些系統大多獨立運作,資料結構不一緻,彼此間缺乏協作,緻使資訊鍊難以閉環,資料孤島由此形成,直接導緻資訊填報繁、既有資料整合調用難等一系列問題。

技術痛點與 Tapdata 的解決政策:

  • 疫情期間,核酸檢測結果與多套關鍵應用系統密切相關,包括健康碼、應檢盡檢系統,以及重點人員追蹤系統,但核酸資料分布在醫院和實驗室等,傳統擷取方式是與當地大資料局對接,進行接口開發,實際操作起來非常麻煩。
  • 如果選擇用資料管道把各個系統的資料都同步到衛健委的資料庫中,會是一個 MxN 的資料鍊路架構,則非常不穩定,後續維護難度大。
  • Tapdata 的政策是采用資料虛拟化的架構設計思想,将資料通過 M 個資料管道彙聚到一個資料虛拟層,就可以通過實時同步任務,按需分發資料,實作快速查詢、調用。

② 涉疫資料難以被實時共享

從源頭上打通涉疫資料,隻是善用這些資料的基礎。想要真正在抗疫戰中活用關鍵資料,切實提升防疫工作的前瞻性和響應效率,最小化疫情管控對民生的影響,還應更加關注涉疫資料流通的“實時性”。以疫情關鍵時期的必需品“核酸碼”為例,因檢測結果延時呈現而導緻出行受困的情況比比皆是。涉疫資料的實時同步與共享,已成疫情下人員正常生活的必要保障。隻有涉疫資料采集實時精準、資料融合處理實時高效,才能在面對疫情的各種可能狀況時,做到早預警、早發現、早幹預、更便民。此外,多項流調資訊的實時透明,也是穩定民心的關鍵所在。

技術痛點與 Tapdata 的解決政策:

  • 自從大規模核酸逐漸成為常态事件,資料量激增,想要充分利用這些資料,會對生産庫産生巨大的壓力,實施周期也随之被拉長,技術架構複雜,難以實作。
  • 傳統的大資料平台因架構原因,天然具有高延遲、資料難以實時更新等缺陷。而 Tapdata 基于分布式資料庫的存儲方案,可以支撐毫秒級響應的低延遲,以及數十萬每秒的并發通路。
  • Tapdata 的政策是對采集到的核酸資料進行實時過濾、變形,再彙聚到資料虛拟層形成統一視圖,最後通過 API 釋出,供下遊業務使用。

③ 資料不能被有效複用,重複開發和準備周期長

從早期的健康碼、行程卡,到面向不熟悉智能機操作的老人兒童的離線碼、便于公衆防範的疫情地圖,再到電子哨兵、核酸碼、場所碼……面對疫情的突發性以及病毒的頻繁變異,防疫措施也在不斷更新。于政府部門而言,對外,需要讓防疫的剛性措施和人性溫度相融合,聚焦“急難愁盼”問題,創新服務形式;對内,需要快速響應新的資料彙報、共享需求。應用需求側的不斷更新,對資料開發的靈活性提出了更高的要求。快速響應、快速落地的資料高效利用需求之下,傳統方案更顯捉襟見肘。

技術痛點與 Tapdata 的解決政策:

  • 涉疫資料如何被最終靈活應用,助力特殊時期的數字化政務服務新形勢又成了問題。傳統方式下,需要在源端資料庫建立觸發器,并通過 ETL 腳本,以輪巡的方式寫入目标。流調系統資料會被要求分發到交通、公安等部門,這些都需要人工開發腳本,導緻效率低、協作難和資源投入大。
  • 因為需要維護大量副本,傳統大資料平台很難實作靈活的資料更新。再加之資料結構多樣,連接配接困難,在疫情反複、核酸頻測的當下,非常容易導緻開發内容重複的冗工問題。而基于 Tapdata 搭建的一體化平台,開創性地提供了從資料消費到資料加工再到資料傳遞的一攬子解決方案,資料應用更高效。
  • Tapdata 的政策是利用資料虛拟層的一緻視圖跟蹤居民最新核酸情況,展開未檢人員跟蹤,計算出居民需要核酸的頻次,并通過短信提示,彙入應檢未檢系統。而在資料虛拟層形成一緻視圖後,就可以被反複使用,真正做到“一次建構,多次使用”。

02

基于資料虛拟化和主資料管理能力的 Tapdata 防疫解決方案

面對傳統技術方案的諸多限制與不便,Tapdata 為高效落地疫情防控數字化應用提供了新思路:建構一個集資料實時同步、實時處理與實時釋出于一體的防疫資料平台,在保留原有涉疫資訊系統的基礎上,建構一個高度一緻的資料鏡像,并采用主資料管理技術,形成完整、準确、實時的疫情防控資料服務底座,快速解決涉疫資料孤島、資料查詢調用不及時、應用開發周期長等數字化防疫難點問題。

Tapdata 在數字化防疫場景的最佳實踐

通過 Tapdata 建構疫情防控資料服務底座

快速落地防疫資料服務價值

通過 Tapdata 建構疫情防控資料服務底座,結合當地及全國防疫任務的總體需求,可以快速落地數字化防疫的價值。

① 實作資料共享、業務協同,提高抗疫一線工作效率

  • 各業務、各部門資訊孤島打通,快速準确填報
  • 資料流驅動業務流,資料支撐業務協同
  • 打造統一的疫情防控協同工作平台,同類使用者盡可能有一個統一的工作平台

② 實作防疫資料采集、資料治理、資料共享的實時準确完整

  • 確定系統能用、好用,確定核心資料不在體外循環
  • 基于資料标準規範,落實資料交換、品質檢查、內建整合等工作的自動化

③ 實作相關防疫系統的“內建整合+更新改造+界面融合”

  • 針對本地已建系統進行深度優化改造,推動疫情防控資訊化
  • 科學規劃“界面融合”操作入口,切實提高操作效率

④ 提升資料采集、流轉、使用的效率,主動為個人和企業提供便捷服務

  • 可将個人和企業辦理的各類防控事項,集中到統一的入口
  • 基于政務大資料實作資料共享,少填少報

易部署,高相容,開箱即用

Tapdata 可以在不幹擾原有系統的前提下,進行快速部署,低代碼、可視化的産品特性,可以在極少人力投入的情況下,做到開箱即用。

① 打通資料孤島,建立業務主資料

Tapdata 具備廣泛的資料連接配接能力,已經支援超過 40 種資料源,兼具資料庫複制以及與 SaaS 服務的對接能力,支援資料實時采集,對于原有業務的侵入很小,在打通資料孤島的同時,不會對原業務的持續運作造成影響。

② 輕量易部署,支援橫向拓展

疫情的特殊性對資料平台的部署架構提出了更高的要求:

  • 需要具備彈性分布式架構,可通過小規模部署滿足目前需求,支援後續的無縫擴容
  • 需要具備 24x7 高可用及橫向擴充能力,無需停機

Tapdata 可以很好地滿足相應需求。Tapdata 支援輕量級私有化部署,可以部署到本地資料中心或私有雲環境,同時支援單機部署和分布式多節點部署。單機模式下,可以部署在一台伺服器上,最小化的平台部署僅需 5 個節點。資料同步節點和資料釋出節點可以随時按需擴容,隻需新增一台伺服器,就可以快速完成搭建。面對巨量涉疫資料,也可輕松滿足資料處理的高性能需求。

Tapdata 在數字化防疫場景的最佳實踐

Tapdata 實體部署架構

實體部署架構說明:
  • Tapdata Management:負責軟體各子產品排程和網頁控制台展現
  • Tapdata API Server:負責資料釋出及 API 網關
  • Tapdata Flow Engine:負責資料同步、清洗、多表關聯、聚合計算等
  • MongoDB:Tapdata 資料庫,中間緩存結果,DaaS 資料庫

③ 低代碼可視化配置

Tapdata 支援以低代碼、可視化的配置方式,完成資料實時同步鍊路及任務的編排設定、資料融合與治理、資料實時釋出等核心功能。無需專業程式設計能力支撐,即可快速進行實時資料的開發和使用,確定各相關機關可以在極少人力投入的情況下,快速推進需求開發及應用落地。

實作多方受益

  • 轄區居民
    • 統一登記入口,使用統一入口登記涉疫資訊,并自動綁定個人資訊;
    • 非必要免送出,核酸檢測結果、健康碼、行程碼等自動關聯;
    • 資訊上報更友善,開發健康資訊上報應用,減輕企業、學校等相關責任人的資料統計壓力,減少因重複“健康打卡”帶來的不便。
  • 卡口從業人員
    • 提前預約申報,線上提前預約登記,減少線下登記工作,減少因高峰期現場填報而導緻的交通擁堵;
    • 現場快速采集,提供友善的資訊采集工具,同時可實作人員資訊關聯,提高采集核實效率。
  • 社群疫情防控人員
    • 資料精準可靠,接收到的待核查人員資訊準确、不重複且分發正确,減輕基層人員核對壓力;
    • 上報口徑統一,面向各委辦局的資料格式統一、資料次元統一,可實作一處上報,減輕基層人員資料上報的工作壓力。
  • 流調溯源從業人員
    • 軌迹定位精度提高,對于陽性、密接和次密接等重點人員,有精準靈活的定位手段,提高流調精度,減輕流調溯源工作壓力;
    • 智能梳理人員,可快速确認密接和次密接人員,查實疫情人員影響範圍。
  • 指揮排程人員
    • 重要事宜及時獲知,保證各專班能第一時間回報重要事宜;
    • 資料準确一緻,重要資訊傳遞準确,確定各管道資訊一緻,可比對提醒;
    • 部署任務閉環回報,部署的任務能閉環回報完成情況,確定落實到位。
  • 疫情防控決策人員
    • 風險事件即時告知,如發現本地陽性人員、外地陽性的本地密接人員等;
    • 統計資料及時準确,移動端、大屏資料及時準确;
    • 輔助決策判斷,可提供預研預判能力,實時掌握疫情态勢,可提供風險預警,可預測疫情趨勢,及時決策。

03

最佳實踐:Tapdata 攜手張家港市衛健委,合力建構

疫情防控資料中台

此次疫情期間,Tapdata 與長期深入踐行“智慧政務”、助推“智慧醫療”發展的張家港市衛健委,建立了良好的合作關系。雙方協力建構疫情防控資料中台,基于一緻化的資料标準,明确更新交換機制,實作資料集中彙聚、治理和應用,進而支撐各疫情防控應用互通,切實解決了張家港市衛健委涉疫資料打通和實時傳輸的需求,保障了核酸檢測資料的及時同步,有效緩解了抗疫措施對民生和經濟帶來的影響。

方案落地

Tapdata 是本次落地疫情防控資料中台的關鍵。借助 Tapdata 無侵入式實時資料連接配接或采集的能力,張家港市衛健委無需改造已有系統,即可輕松完成各類系統的資料接入和統一管理,為曆史系統減負,為數字化加速;通過 Tapdata 的低代碼實時資料開發能力,還可以快速完成核酸資訊查詢、隔離人員資訊、疫情流調資料查詢等資料模型開發并上線,實作疫情防控資料的實時計算、上報和釋出。

Tapdata 在數字化防疫場景的最佳實踐

基于 Tapdata 快速建立疫情防控專題資料庫

在疫情防控資料中台之外,Tapdata 還助力張家港市優化融合已有的 14 個系統,推進一體化平台建設,形成資訊鍊閉環。

Tapdata 在數字化防疫場景的最佳實踐

基于資料中台的輕量級融合

該方案之下,來自隔離點管理系統、流調轉運系統、居家健康監測系統等的多源異構資料,得以實時彙聚到中央化平台,并由此提供統一的資料輸出接口及語義,為所有下遊資料應用需求提供實時、完整、準确的資料資源。

使用 Tapdata 快速建構 FDM 基礎資料模型、MDM 主資料模型和資料實時共享:

  1. 基礎資料模型 FDM 同步
Tapdata 在數字化防疫場景的最佳實踐
  1. 建構疫情防控主資料模型 MDM
Tapdata 在數字化防疫場景的最佳實踐
  1. 推送資料到業務系統
Tapdata 在數字化防疫場景的最佳實踐

高精準、強實時的資料應用

随着疫情防控資料中台的快速落地及穩定運作,Tapdata 成功助力張家港市衛健委:

  • 打破資料孤島,實作涉疫資料實時查詢與推送,核酸相關系統資料可實時擷取,大大縮短了核酸檢測結果等待周期;
  • 大幅提升開發效率,從數月降低到1天,可在10分鐘内完成資料開發,快速支撐疫情相關報表資料,響應各區域的上報、彙總需求;
  • 建構防疫相關資訊的主資料庫,統一資料規則,開放資料目錄,有效提高資料資源複用率。

同心抗疫,共克時艱。疫情正在深刻改變這個世界的運作方式,零接觸、線上辦……數字化已然成為我們對抗疫情的一角縮影。疫情尚未終結,Tapdata 未來也将持續攜手各相關組織機關,為抗疫一線輸送資料之力,與疫情傳播賽跑。而這場曠日持久的疫情防控攻堅戰,終将散盡硝煙。