大資料（資料入庫管理規則）

3 資料入庫管理要求

3.1 資料入庫管理通用要求

大資料中心進行資料入庫時，需執行以下兩種要求：

（1）應支援對結構化資料、半結構化資料和非結構化資料等類型的資料入庫。

（2）應支援多種異構資料源的接入并實作資料格式的轉換。

3.2 資料入庫管理存儲要求

（1）應支援磁盤、磁盤陣列、記憶體存儲、鍵值存儲、關系型存儲、分布式檔案系統等一種或多種設施。

（2）應提供涵蓋原始資料、基本屬性、底層特征、語義特征的概念層存儲模組化功能。

（3）應支援整型、浮點型、布爾型、字元串、日期、日期時間、二進制塊等基本資料類型。

（4）應支援在建立好的存儲執行個體上插入、修改、删除結構化資料、半結構化資料和非結構化資料。

3.3 資料入庫管理擴充要求

（1）應支援資料類型的多值結構和層次結構。

（2）應支援全局事務的定義并保證事務的原子性、一緻性、隔離性和持久性。

（3）應支援在不同的存儲設施上建立存儲執行個體并實作自動映射。

4 資料入庫管理支援

4.1 大資料量支援

大資料中心入庫管理應當提供大資料量支援。

表容量需滿足應提供磁盤檔案資料存儲管理功能，提供海量資料存儲對象線上重組管理功能。

水準分區、垂直分區群組合分區，滿足資料庫表水準分區管理功能，提供對不同資料分區設定個性化的存儲空間管理功能；滿足資料庫表垂直分區功能，提供可以設定不同分區的存儲管理政策；滿足并提供水準分區和垂直分區組合分區表、分區索引的管理功能。

大對象資料存儲，提供大對象資料外部存儲管理功能。

4.2 權限管理支援

資料入庫管理支援應當提供相應的權限管理支援。

使用者權限管理，提供建立、删除使用者，修改使用者資訊功能，并提供支援對使用者通路的資料庫對象進行授權管理的功能。

角色權限管理，提供建立、删除角色，啟用、禁用角色，并提供對角色的權限進行授權管理的功能。

4.3 資料備份支援

對多種資料提供資料備份管理支援，對多種資料還原、恢複處理方式進行管理。應支援備份程序并行的容錯機制，備份程序的當機不影響資料的可用性；應支援資料備份的集中控制，應針對不同使用要求制定資料備份政策；應支援鏡像備份、備援備份等方式提高資料存儲可靠性；應支援備份程式與應用程式的分離；應支援對備份資料進行壓縮存儲。

5 資料入庫管理規則

支援結構化資料、半結構化資料、非結構化資料的分類存儲。所有資料應能通過緩存、記憶體計算、壓縮傳輸等手段保證資料呈現良好的響應速度。應支援資料呈現模闆功能，并且具備模闆整合能力，能快速實作所需要的資料呈現。

結構化資料應支援柱狀圖、曲線圖、折線圖、餅狀圖、雷達圖等可視化資料呈現方式；半結構化資料應支援常用資料類型的展示和統計；非結構化資料應支援分類與浏覽。