過去一個月裡,得帆雲私有化部署持續更新了許多重點功能。資料采集、資料開發、資料品質、資料資産、資料服務五大功能齊發,Hadoop、Spark、Flink、Python全部都有,為您的企業群組織提供一站式大資料開發解決方案。
為避免大家錯過高效率玩轉得帆雲的機會,重點功能都整理在這裡啦,一起來看一下吧~
01
aPaaS平台管理補充資料開發插件
本次更新後,可以通過開關aPaaS平台的「資料開發」插件,來限制aPaaS背景「資料開發」插件的開關狀态。在aPaaS背景想要使用資料開發插件時,需要聯系平台管理者開啟。
配置方式:
aPaaS平台管理者在「插件管理」菜單内打開資料開發插件的開關,彈出開啟插件對話框。
按需勾選”背景插件同步開啟,且不可關閉"複選框,勾選後單擊「确定」按鈕,頁面傳回"操作成功"toast,aPaaS背景的資料開發插件将始終保持開啟狀态。
02
aPaaS平台管理補充資料開發插件
租戶需要對資料進行采集、清洗、處理和開發,平台已開啟資料開發插件,且租戶擁有資料開發權限時,租戶可自主開啟資料開發插件。
配置方式:
打開「資料開發」插件開關,頁面傳回toast"操作成功",左側顯示資料開發菜單。
單擊"齒輪"圖示,可對資料開發插件進行配置,主要包含三部分:連接配接配置、資料源授權和資料開發成員。
- 連接配接配置
在連接配接配置中輸入通路位址(前台通路位址)和服務位址(後端部署位址),以連接配接資料開發子產品。點選「測試連接配接」按鈕,即開始連接配接。
成功之後,傳回toast"連接配接成功"。單擊「确定」按鈕後彈框關閉,并儲存連接配接配置。
- 資料源授權
單擊「添加」按鈕,選擇欲授權給資料開發子產品的aPaaS資料源,該資料源将自動授權給此項目,并添加到項目資料源中。
在已添加的資料源中存在資料編輯開關,此開關開啟後,傳回toast"操作成功"。後續使用資料開發功能時,支援對此aPaaS資料源中的資料進行編輯。
- 資料開發成員
此處展示所有已建立的項目成員賬号,單擊「同步資料開發成員」按鈕後,将為新增的租戶管理者建立賬号。
03
增加資料開發菜單「項目管理」
項目配置包含基本配置、環境配置和其他配置。
在基本配置中支援編輯項目資訊、作業類型、資源檔案類型和項目成員(項目成員為此租戶下的所有租戶管理者和具有資料開發權限的人員)。
一個項目預設帶一個開發環境和一個生産環境,開發環境用于建立、測試作業流和作業,作業流釋出到生産環境之後,将按照配置好的排程周期性運作。在其它配置中可以點選「添權重限組」按鈕對該項目建立的API權限做出管理。
每個租戶對應一個和租戶名稱相同的資料開發項目,項目是資料開發過程中管理任務、成員,配置設定角色和權限的基本單元。在使用後續的資料開發、釋出管理、運維中心和資料服務等菜單時,也是基于項目的概念來進行開發的。
配置方式:
- 基本配置
(1)單擊「項目管理」菜單進入基本配置頁面。
(2)單擊作業類型「編輯」按鈕,可對作業類型進行編輯,當作業類型被勾選時,才能建立該類型的作業。
(3)單擊資源檔案類型「編輯」按鈕,可對項目允許資源類型進行編輯,當資源檔案類型被勾選時,才能夠上傳該類型的資源檔案。
(4)單擊項目成員「編輯」按鈕,可以檢視具有該項目權限的所有人員以及他們的資訊。可修改成員角色,将成員設為審批人或移除成員。
- 環境配置
(1)切換到環境配置頁簽,可檢視該項目的環境配置,系統已将資源組和資料源的映射關系一一對應起來,無需手動配置,點選「編輯」可進行修改。
(2)單擊「資源組」,可檢視該環境使用的資源組。點選「添加」按鈕,可将狀态為可用的資源組添加至環境中。
(3)單擊「計算引擎」可檢視該環境計算引擎資訊,包括基本資訊及排程資訊。
(4)單擊「資料源」,支援為項目添加外部資料源。
04
增加資料開發菜單「資料開發」
資料開發為核心子產品,我們為開發人員提供線上協同開發平台,包括離線作業、實時作業、函數、資源檔案、臨時作業等的一系列開發功能。
核心功能離線開發由多個存在依賴關系的作業形成作業流,作業适配各類開發元件,支援包括:Hive、Spark、Flink、ETL(資料轉換)、HplSQL、API同步、DDL、Python、資料同步等任務類型作業,滿足臨時查詢、周期排程等不同場景下的資料處理需求。
配置方式:
- 建立作業流
(1)單擊「新增作業流」,輸入作業流名稱,選擇資料分層、業務過程、責任人,描述(選填),單擊「确定」按鈕, 完成作業流建立。
(2)作業流建立完成後,頁面中央出現作業流畫布,支援将作業拖動進入畫布,連線配置作業流。
(3)單擊作業流右側「屬性配置」,可檢視并修改屬性,包括基本屬性、排程配置、依賴配置、基線配置和外部調用。
- 排程配置包括三部分,排程狀态、生效日期、排程周期和排程時間,具體設定因排程周期的設定而不同。
- 依賴配置中每個作業流可設定多個上遊依賴,當所有的上遊作業流都運作完成且到達目前作業的排程時間後,此作業流才會被開始排程。
- 基線配置中支援選擇已經配置好的重試規則, 當作業流釋出後的執行個體運作失敗時,将按照配置好的重試規則自動進行重試。
- 外部調用開關開啟後,顯示URL和AccessKey,此時釋出作業流,目前作業流就可以通過URL和AccessKey被調用。
- 運作作業流
(1)從左邊作業流拖動作業到畫布,通過拖拽連線配置依賴關系。
(2)單擊「運作」按鈕,彈出作業流執行個體界面,展示運作情況。作業流運作狀态分為成功、失敗、運作中、待運作,以不同顔色區分。
- 釋出作業流
儲存作業流後,作業流為"已送出"狀态。
(1)依次單擊各個作業的「送出」按鈕,将畫布中的作業全部送出。
(2)單擊作業流的「釋出」按鈕,彈出釋出作業流清單,支援批量釋出,顯示檔案名稱、作業類型、送出人和修改類型。按需勾選後點選确定,待釋出的作業流在「釋出管理」——「待釋出清單」中展示。
- 編輯作業流
(1)建立目錄
點選左側作業流名稱旁的「操作」圖示,選擇「建立目錄」,輸入名稱并選擇目錄,點選「确定」按鈕完成,會在該作業流下建立新目錄。
(2)編輯
點選左側作業流名稱旁的「操作」圖示,選擇編輯,彈出「編輯作業流」對話框,支援修改作業流名稱、責任人和描述,點選「确定」按鈕,完成作業流編輯。
(3)建立離線作業
點選左側作業流名稱旁的「操作」圖示,選擇「建立離線作業」,填充作業名稱、作業類型、資源組、目錄等資訊,點選「确定」按鈕,完成建立作業。
(4)删除
點選左側作業流名稱旁的「操作」圖示,選擇「删除」,彈出二次确認視窗,點選「确定」按鈕,完成删除。
- 下線作業流
點選下線按鈕,傳回toast"操作成功",完成下線。
05
增加資料開發菜單「釋出管理」
本次更新後,作業流由開發環境釋出到生産環境需要經過釋出管理由運維人員審批,審批通過之後在生産環境按照排程周期性運作。資料服務中建立的API需要經過釋出管理由運維人員審批通過後才能被調用。
配置方式:
- 待釋出清單
在「釋出管理」頁面,待釋出清單一欄中,可以看到全部待釋出的任務。支援在操作中點選「檢視」按鈕,檢視任務的配置詳情,包括代碼資訊、運作參數、備注、排程資訊、依賴資訊、基線資訊等。
(1)勾選檔案,選中的檔案将顯示在右邊「所選檔案」一欄中,可以對所選檔案進行批量删除和建立釋出包操作。
(2)點選「建立釋出包」按鈕,将會對欄中全部檔案統一打包,輸入釋出包名稱,點選「确定」按鈕進行建立。
- 釋出曆史
(1)成功建立釋出包的作業和作業流,被預設放在「釋出曆史」——「待稽核」一欄中。
(2)釋出包由項目預設審批人進行稽核,審批人可以對釋出包進行審批操作,送出者可以對釋出包進行撤回操作。
- 撤回後,釋出包回到待送出一欄,允許重新送出和删除;
- 審批拒絕後,釋出包回到待送出一欄,允許重新送出和删除;
- 審批同意後,釋出包進入已釋出一欄,并可以檢視釋出詳情及審批意見。
06
增加資料開發菜單「運維中心」
運維中心包括運維總覽、執行個體分析和任務詳情子產品,提供了作業流、離線作業和實時作業的操作與狀态等多方位的運維能力。
- 運維總覽為開發人員提供實時的資料記錄、跟蹤、追溯和預警提示功能,便于全面的監控資料并做出及時調整。
- 執行個體分析對作業流、作業和标簽等任務運作情況實時捕捉,記錄各任務下産生的實際資料和每個具體的任務内容。
- 任務詳情展示此項目所有處于已釋出狀态的作業流和作業。
配置方式:
- 運維總覽
提供綜合展示界面,對全局所有開發資訊例如:作業流、作業、标簽等進行運維監控及統計彙總,按運作時段分析,展示目前項目進度。
(1)預設系統目前日期的運作情況。點選運作日期的月曆元件,可分别選擇檢視作業流、離線作業、實時作業、标簽和DDL作業的指定日期的運作情況概覽。
(2)點選「折線圖示」,可直覺地看到運作日期當天的作業流、離線作業、實時作業、标簽和DDL作業運作情況時段分析的折線圖。
- 執行個體分析
(1)執行個體分析清單支援檢視目前項目的作業流執行個體、離線作業執行個體、實時作業執行個體、DDLV執行個體、标簽執行個體等。
(2)單擊藍色執行個體ID字樣,可進入作業執行個體頁面,支援檢視離線作業、DDL作業的運作日志,支援點選下載下傳按鈕下載下傳運作日志。
- 業務詳情
(1)任務詳情展示所有處于已釋出狀态的離線作業和實時作業。點選「下拉圖示」,即展開顯示該作業流或實時作業下的所有作業。
(2)任務詳情中的作業流支援啟動/暫停、檢視運作執行個體的操作。
(3)任務詳情中的作業支援檢視代碼/檢視配置操作。
07
增加資料開發菜單「資料服務」
資料服務是基于資料開發的最後一步,資料服務作為統一的資料服務出口,實作了資料的統一化管理,有效地降低資料開放門檻的同時,保障了資料開放的安全。
資料服務将資料開發生成的表資料資訊,以生成API的方式提供給被允許的IP調用。
配置方式:
- 建立API
(1)單擊進入「資料服務」菜單,此處展示的是目前租戶下生成的所有API。
(2)點選「建立API」按鈕,填寫API編碼,API名稱,path,選擇請求類型、認證類型,描述(選填),點選「下一步」按鈕。
- 配置API
在下一步頁面填寫配置資訊。包括基本資訊、字段資訊與參數資訊。
(1)在基本資訊一欄選擇資料源類型、存儲空間/資料源名稱和資料庫表名。填完基本資訊後,字段資訊中會展現所選資料表中的所有字段,包括字段名稱、字段類型和字段描述。
(2)勾選需要添加的請求參數與傳回參數,下方參數清單會顯示已選擇的請求參數與傳回參數。請求參數支援修改參數名稱、參數類型、操作符、是否必填,填寫示例值、預設值與描述等。傳回參數支援修改參數名稱、參數類型、示例值與描述。
(3)當勾選「傳回結果分頁」複選框時,在請求參數頁面顯示page和pageSize。
(4)點選「儲存」按鈕,完成建立。
- 測試API
(1)點選「下一步」按鈕,進入測試頁面。
(2)請求參數中有預設值時,可以點選「開始測試」按鈕,直接測試。
(3)測試完成後,在右側顯示請求詳情、傳回内容、測試是否成功以及響應時間。
- 編輯API
- 在API清單中點選右側的「操作」圖示,選擇「編輯」,即進入編輯頁面;
- 已釋出的API不允許編輯。
- 釋出API
方法一:測試成功後,點選「送出」按鈕,确定後,API即被送出到「釋出管理」——「待釋出」清單中。
方法二:在API清單中點選右側的「操作」圖示,選擇「釋出」,彈出确認視窗,點選「确定」按鈕,API即被送出到「釋出管理」——「待釋出」清單中。
在「釋出管理」頁面經審批人審批之後,API狀态變更為"已釋出"。
- 下線API
在API清單中點選右側的「操作」圖示,選擇下線,彈出确認視窗,點選「确定」按鈕,完成下線。
- 調用API
隻有處于"已釋出"狀态的API才能被調用。
(1)點選需要調用的API編碼,進入詳情頁面。可以檢視此API的調用位址、AccessKey和請求參數。
(2)可借助Postman接口測試工具嘗試對生成的API進行調用。
資料是公司的資産,組織必須從中擷取業務價值,最大程度地降低風險并進一步開發利用資料。
得帆雲aPaaS資料開發子產品的更新上線,可幫助企業沉澱業務資料,創造資料價值,實作業務資料化與資料業務化的雙向循環。aPaaS資料開發子產品從整體流程出發,幫助客戶更早、更及時、更高效地發現資料問題,確定企業資料的可用性、安全性和高品質,進而實作資料治理。
以上就是得帆雲上期資料開發功能的主要更新内容,集适用業務場景拓展、工作效率提高、産品功能個性化,三大優勢于一體。得帆雲緻力于全方位完善客戶的使用體驗。