得帆雲DataFlow
資料內建平台
近期，得帆雲iPaaS-DataFlow資料內建平台即将正式釋出！
資料內建平台通過資料技術，對海量資料進行采集、處理和存入。資料內建平台将來自不同平台與系統的資料抽取，進行資料脫敏、加密等處理後，再進行存儲，形成資料資産，進而為企業提供高效服務。
得帆雲iPaaS-DataFlow資料內建平台，緻力于解決企業内部海量資料導入導出與處理等場景問題，協助使用者建構業務系統之間資料內建以及多元異構的端到端資料傳輸鍊路。
得帆雲DataFlow
資料內建平台的優勢
得帆雲iPaaS-DataFlow資料內建平台提供可視化的操作界面，實作複雜資料流程簡易配置，快速實作業務資料抽取轉換與寫入，進而提升資料流轉效率，解放開發人員生産力以及降低開發成本與實作周期，具有易用性高、傳輸性能快等優點。
本期更新，我們将為大家詳細介紹得帆雲iPaaS-DataFlow資料內建平台的功能和使用方法。
01
DataFlow資料內建管理平台
為了實作對企業内部多部門多組織的資料隔離，得帆雲DataFlow采用多租戶模式；并新增資料內建管理平台，對平台資訊、系統使用者、租戶系統、資料源驅動等進行統一管理。
由超級管理者登陸管理平台，可在「平台資訊」頁面點選編輯對平台圖示、浏覽器辨別、平台名稱進行維護。
「平台-平台資訊」
平台新增「使用者管理」功能，超級管理者利用該功能可對系統内所有使用者進行管理，支援添加使用者、編輯使用者資訊、啟用/禁用使用者，以及稽核使用者的注冊申請。
「平台-使用者管理-添加使用者」
「平台-使用者管理-使用者申請」
平台新增「租戶管理」功能，實作多租戶資料隔離。超級管理者利用該功能可對租戶系統進行管理，支援建立租戶系統并設定租戶管理者，實作企業多部門多組織之間系統隔離。
「平台-租戶管理-建立租戶」
「平台-租戶管理-建立租戶：選擇使用者」
平台新增「驅動管理」功能，系統預置各種資料源驅動，支援超級管理者對驅動進行上傳與維護。
「平台-驅動管理」
02
系統「資料流配置」功能
租戶系統使用者登陸系統後，可使用「資料流配置」功能，配置資料抽取、轉換、寫入流程。資料流配置支援兩種配置方式，「快速配置」與「流程編排」。
「系統-資料流配置」
「快速配置」：
使用者可使用快速配置功能，通過表單化配置，可視化字段映射方式，快速實作資料庫表資料遷移與轉換、Excel檔案抽取與寫入、MySQL binlog同步等功能。
場景示例：某公司業務系統希望快速實作不同資料庫之間資料定時同步，且同步過程中需要對使用者姓名進行截取。
1）建立資料庫之間表同步，設定定時排程政策。支援固定時間間隔與定時排程兩種方式。固定時間間隔用于高頻次資料同步，定時排程用于固定時間節點的資料同步；
「資料流配置-選擇快速配置類型」
「資料流配置-基本定義頁面」
2）選擇源表與目标表，自動解析表字段，使用者可添加字段映射關系，支援同名字段自動比對；
「資料流配置-基本定義頁面」
「資料流配置-基本定義頁面」
3）針對特殊字段，可添加表達式對資料進行處理後存入目标表。
「資料流配置-基本定義頁面」
「資料流配置-基本定義頁面」
「流程編排」：
使用者可通過流程編排，實作複雜資料抽取、轉換、寫入流程，系統提供了多種資料抽取、轉換、寫入元件，可自由搭配組合，實作資料處理與流轉。
每個元件都是異步執行的，可為每個元件單獨設定排程時間。
場景示例：某公司OA系統采用MySQL資料庫，财務系統使用Oracle資料庫，HR系統采用MySQL資料庫。需要将資料從OA系統同步至财務系統，并且成功同步的資料再存入HR系統，存入HR系統時，需要對敏感字段進行處理。
1）建立流程編排，添加「關系型資料抽取」元件，從MySQL資料庫抽取資料，選擇所需要的資料庫表與字段；
「資料流配置-流程編排頁面」
2）添加「關系型資料庫寫入」元件，将資料存入财務系統，并配置字段映射關系；
「資料流配置-流程編排頁面」
3）添加「表達式處理元件」對敏感字段進行處理；
「資料流配置-流程編排頁面」
4）添加「關系型資料庫寫入」元件，将資料存入HR系統，配置字段映射關系。
「資料流配置-流程編排頁面」
03
系統「運作清單」功能
使用者配置資料流轉流程後，需要将流程進行釋出。釋出後的流程會出現在「運作清單」中，使用者可通過運作清單檢視流程運作情況。點開抽屜頁，可檢視資料流轉過程産生的檔案流，以及資料轉換詳情。
「系統-運作清單」
04
系統「執行日志」功能
平台新增「執行日志」功能，直覺展示系統内資料流程運作日志，使用者可點選展開檢視各流程排程執行結果，可點選檢視運作日志詳情與流檔案執行記錄，點選執行過程可檢視資料流檔案運作過程。
「系統-執行日志」
「系統-執行日志-資料流向」
「系統-執行日志-資料詳情」
05
系統「資料源管理」功能
平台新增「資料源管理」功能，使用者可對資料源進行管理，支援添加資料源、啟用/禁用資料源、編輯資料源、删除資料源。目前資料源支援MySQL、Oracle、PostgreSQL、SQL Server、Hive、Hbase、MongoDB、DB2、ClickHouse等主流資料庫，同時支援Elasticsearch、kafka、MQTT等消息隊列。
點選建立按鈕後，彈出建立資料源彈出，使用者可選擇需要建立的資料源類型，選擇相應資料源類型後，彈出相應彈窗，填入資訊後進行測試連接配接，測試連接配接成功後，可點選确定按鈕進行儲存。
使用者可在快速配置、流程編排中引用已儲存的資料源。測試連接配接資料庫時，系統會自動周遊平台已添加的資料庫驅動，直至連接配接成功。
「系統-資料源管理」
「系統—添加資料源」
06
系統「檔案管理」功能
平台新增「檔案管理」功能，展示該租戶下目前使用者所能檢視的所有檔案資訊，使用者可對檔案進行管理，支援添加檔案夾、編輯檔案夾、删除檔案夾、上傳檔案、删除檔案。
使用者配置檔案抽取存儲到庫流程後，可在該子產品上傳檔案，實作檔案資料同步至庫。
「系統-檔案管理」
「系統-檔案管理-檔案清單」
07
系統「FTP/SFTP管理」功能
平台新增「FTP/SFTP管理」功能，展示該租戶下目前使用者所能檢視的所有檔案服務資訊，使用者可對檔案服務進行管理，支援添加檔案服務、啟用/禁用檔案服務、編輯檔案服務、删除檔案服務。目前檔案服務支援FTP、SFTP。
點選建立按鈕後，使用者可選擇需要建立的檔案服務類型，選擇相應檔案服務類型後，彈出相應的添加彈窗，填入資訊後進行測試連接配接，測試連接配接成功後可點選确定按鈕進行儲存。使用者可在快速配置、流程編排中引用已儲存的檔案服務。
「系統-FTP/FTPS管理」
08
系統「使用者管理」功能
平台新增「使用者管理」功能，租戶管理者可對租戶内使用者進行管理，支援租戶管理者添加使用者、維護使用者資訊、啟用/禁用使用者，将使用者移除租戶，以及對使用者送出的進入租戶申請進行稽核。
「系統-使用者管理」
09
系統「角色管理」功能
平台新增「角色管理」功能，租戶管理者可為系統内角色、角色成員、功能權限與資料權限。
租戶管理者具有租戶内最高權限，租戶内使用者享有預設權限，租戶管理者可修改預設權限。租戶管理者可添加新角色，指定角色人員，并設定新的的角色權限。
點選清單上方添加按鈕，彈出建立角色彈窗。手動錄入角色編碼、角色名稱、角色描述，點選确定後，角色被添加。
「系統-角色管理」
點選角色清單，進入角色成員抽屜頁，可為角色添加成員。切換至權限頁面，可為角色設定菜單與功能按鈕權限，以及資料權限。
「角色管理-成員管理」
「角色管理-權限管理」
本次更新就分享到這裡了。得帆雲iPaaS-DataFlow資料內建平台将進一步提升得帆雲iPaaS的易用性和靈活度，完善您的使用體驗！
對于本次更新，如果您有哪些功能需要進一步視訊講解，或者您有更好的更建立議，歡迎聯系我們回報！