資料的交換共享是資料全生命周期中發揮價值的關鍵一環。
無論政府部門或企業,在日常管理過程中,由于業務需求,通常需要與一個或多個内部外部的組織交換共享資料,但加快資料共享并不是搭建一個資料平台那麼簡單。從資料的采集,到對資料的加工清洗,再将資料運用到日常管理,予以價值化,都需要大量基礎工作的鋪墊。今天小億就來從以下幾個方面說說資料交換與共享:
1.資料交換共享的基本概念、價值與意義;
2.3種常見的資料交換方式方法;
3.實作資料交換共享的原則和注意事項;
4.3個高效安全的資料交換實踐案例分享。
— 01 —
什麼是資料交換與共享
出于各種原因,組織會選擇資料交換與共享。例如,内部與内部的資料交換共享,企業與企業之間的資料交換共享,以及政府或企業對個人或服務提供商的資料交換與共享。資料交換共享就是讓不同地方使用不同計算機、不同軟體的使用者能夠讀取他人資料并進行各種操作運算和分析。
也就是當資料從一個系統跨授權邊界通路或傳遞到另一個系統時,就需要使用一個或多個協定來指定每個組織的責任、要通路或交換的資料類型和影響界别、如何使用交換資料,以及在交換系統的兩端處理、存儲或傳輸資料時如何保證資料安全。
常見的資料交換/共享場景包括但不限于:在授權使用者之間共享資料和資訊;提供對資料的自定義通路;合作進行聯合項目;提供完整的、短暫的、間歇性的、永久的或臨時的資料交換共享活動;通過交換共享減少資料收集工作量和成本;提供線上教育訓練;為關鍵資料和備份檔案提供安全存儲。
— 02 —
資料交換共享的價值與意義
實作資料共享,可以使更多的人充分地使用已有資料資源,減少資料收集、資料采集等重複勞動和相應費用,而把精力重點放在開發新的應用程式及系統內建上。總的來說可以為組織帶來如:降低營運成本、增強業務能力、提高效率、集中通路資料以減少重複資料集、促進組織間的溝通與合作,加強參與組織之間的聯系等益處。
除此以外,資料共享的程度也反映了一個地區、一個國家的資訊發展水準,資料共享程度越高,資訊發展水準越高。而要實作資料共享首先,應建立一套統一的、法定的資料交換标準,規範資料格式 ,使使用者盡可能采用規定的資料标準;其次,要建立相應的資料使用管理辦法,制定出相應的資料版權保護、産權保護規定,各部門間簽訂資料使用協定,這樣才能打破部門、地區間的資訊保護 ,做到真正的資訊共享。
— 03 —
三種資料共享的方式方法
1.資料交換與共享方式
資料交換的條件至少需要具備三個基本元件:兩個端點和一個資料流動信道,資料流動信道可以是專用或租用線路,也可以使用虛拟專用網絡 (VPN) 解決方案(例如:IPsec、SSLVPN、L2TP),使用專用電路會更昂貴,但更安全,使用VPN則是較便宜的替代方法,也是常用的通信方案。下圖是建立資料交換的兩種通信方式:
資料交換的兩個端點/系統之間互連可以在網絡級或應用級實作:
(1)網絡互連:兩個或多個網絡之間的實體或虛拟通信連結,這些網絡由不同的組織運作,或在同一個組織内,但在不同的授權邊界内運作。
(2)應用互連:由不同組織或同一組織内,但在不同授權邊界内運作的兩個或多個應用程式之間的邏輯通信連結,用于交換資料或提供資訊服務(例如:身份驗證、日志記錄)。應用互連包括檔案共享服務或應用以及發生在會話層、 表示層或應用層的資料交換源。
2.資料交換與共享方法
資料交換的常見方法包括但不限于:電子或數字檔案傳輸、通過便攜式儲存設備的資料交換、通過電子郵件的資料交換、資料庫共享或資料庫事務資訊交換,以及基于網絡或雲的服務。
(1)電子或數字檔案傳輸
資料可以通過電子或數字檔案傳輸進行交換,通過檔案傳輸(通信)協定在兩個系統之間傳輸檔案(資料)。各組織需要考慮與使用不同檔案傳輸協定帶來的安全風險;檔案傳輸協定包括FTPS、HTTPS和SCP。
(2)便攜式儲存設備
在某些情況下,可能需要使用便攜式儲存設備交換資料, 例如可移動磁盤(數字視訊CD光牒 (DVD))或通用串行總線 (USB)等)。組織需要考慮被傳輸資料的影響級别以及資料将要傳輸到的系統的影響級别,以确定所交換的資料是否采取了足夠的措施。
(3)電子郵件
組織經常通過電子郵件以附件的形式共享資料。組織需要考慮參與組織的電子郵件基礎設施的影響級别和已經實施的安全控制,以确定是否實施了足夠的控制措施來保護正在交換的資料,例如,在中等影響級别受保護的電子郵件基礎設施不足以保護高影響級别的資料。
(4)資料庫
資料庫共享或資料庫事務資訊交換,包括來自另一個組織的使用者對資料的通路。組織需要考慮的是提供資料通路而不是傳輸資料的可行性,以減少重複資料集以及資料機密性和完整性損失的風險。
(5)檔案共享服務
檔案共享服務包括但不限于通過基于 Web 的檔案共享或存 儲共享資料和通路資料(例如 Drop Box、Google Drive、MS Teams 或 MS One Drive)。使用基于Web的檔案共享或存儲系統,該系統無法讓資料所有者了解伺服器所在位置,或對設施、伺服器和資料的實體和邏輯通路。
3.資料通路或傳輸
(1)通過系統通路交換資料
資料本身不會被傳輸,而是由參與組織的使用者通路。通過系統通路交換資料減少了重複資料集的情況以及資料機密性和完整性丢失的風險。與任何形式的系統通路一樣,使用者可以通路資料資源的程度取決于組織業務以及資料的機密性、完整性和可用性遭到破壞的影響程度。
是以,組織可以通過通路控制,進而将使用者限制在單個應用、檔案或檔案位置,并采用特定的政策來管理通路(例如,通路僅限于隻讀)。其他組織可能會建立更靈活的交換,使使用者能夠通路多個應用程式、檔案或資料庫。
(2)通過傳輸交換資料
資料會在其他實體位置被複制。資料傳輸可能會導緻資料集重複、資料過時或資料未經授權披露或修改的風險增加。然而,傳輸的資料可能被要求支援在不同的業務流程、不同的軟體中使用同一組資料,或者當通過系統無法通路交換資料時。
建議組織将交換的資料限制為僅支援所述業務所需的特定資料,而不是傳輸整個資料集。參與組織需要考慮丢失所傳輸資料的機密性和完整性可能造成的影響,以及保護與預期影響級别相稱的資料的必要性,無論其實體位置如何。
— 04 —
資料交換共享的四個原則
資料共享服務以資料為核心,解決如何将資料友善、高效、安全地共享出去,降低資料擷取難度,提升資料需求體驗和效率。通過平台能力的建設,提供不同的資料共享服務形式,滿足不同類型的資料共享服務需求。總的來說,資料共享服務的建設主要有以下原則:
1.一緻性原則:提供資料共享服務前,要确定每項資料的源頭機關, 由源頭機關對資料的準确性、一緻性負責。減少資料“搬家”,進而減少向下遊二次傳遞所造成的資料不一緻問題。
2.黑盒原則:資料使用方不用關注技術細節,滿足不同類型的資料共享服務需求。
3.靈活響應原則:資料共享服務一旦建設完成,并不需要按資料使用方重複建構內建通道,而是通過“訂閱”該資料共享服務快速擷取資料。
4.自助使用原則:資料共享服務的提供者并不需要關心資料使用方怎麼“消費”資料,避免了供應方持續開發卻滿足不了資料使用方靈活多變的資料使用訴求的問題。
5.可溯源原則:所有資料共享服務的使用都可管理,資料供應方能夠準确、及時地了解“誰”使用了自己的資料,確定資料使用的合理。
— 05 —
3個高效安全的資料交換實踐案例
這裡主要介紹基于億信華辰自主研發的“資料交換管理平台EsDataExchage”相關案例。該平台立足于解決互相獨立的業務系統之間的業務資料可以無障礙傳輸共享的問題,通過豐富的資料處理和交換任務設計,對分散的業務系統進行資料整合,消除“資訊孤島”,實作各類業務系統的互通互聯和資料共享,形成統一的資料服務層,為政企機構業務資訊服務提供可靠的資料基礎。
1、佛山某大區政務服務資料管理平台
基于人口庫、衛計、工商、流管資料,建立區大資料統籌局一庫三部門的統一技術和業務标準;開發區域資料交換平台,完成三大部門資料的采集、傳輸,以及一庫三部門的交換共享,提供銜接順暢的資料申請、交換服務,并對交換日志資料進行監控分析。為各部門資料應用如自助填表系統、教育無紙化提供了高品質的資料支撐。
佛山某大區政務服務資料管理平台架構圖
2、國家衛生部部級資料應用平台
該項目是由國家衛生部統一籌劃部級資料應用平台,該平台以億信資料交換管理平台為基礎,共享和整合公共衛生服務、衛生資源、醫療服務、人口資訊、分級診療、藥政統計、疾病救助等業務資料,滿足了全國各省市衛生統計的個性化資料采集,確定統計資料管理和應用的可持續性。
國家衛生部部級資料應用平台架構圖
3、農發行資料交換平台
針對綜合業務系統、信貸、國際結算等源業務系統的資料通過億信資料交換平台進行統一抽取,通過資料轉義、碼值轉換等實作資料标準化,并将處理後的資料以檔案或庫表等形式下發給消費系統。
農發行資料交換平台架構圖
— 06 —
注意事項
1.明确權屬問題:需要保證共享不改變資料的歸屬權,解決資料提供部門的後顧之憂;
2.解決信任問題:一方面是使用方對資料的信任,保證資料是有效的、完整的;另一方面是提供方對資料不被它用的信任;
3.保證可追溯:共享的提供和使用過程要可追溯,解決糾紛,明确責任。如果資料用在不該用的地方或者産生了隐私安全問題。可以追溯到這個問題出在哪個環節上,該由哪個部門來負責,這樣在資料使用過程中,可以确認權責,建立出權責比對的問責體系;
4.做到可持續:達成共享之後,隻要條件不變就能一直共享下去,降低部門間的溝通協調成本,最終才能夠達到我們所希望的結果。