天天看點

資料同步華麗上位,大資料離線處理高枕無憂

       大資料時代,業務量不斷增長,大批量的資料離線同步已成了不可獲缺的工具。

       阿裡雲資料內建是開源datax的服務化版本,支援400種異構資料源之間的資料同步,同時支援作業級别和資料源級别的流控、分布式并發運作以及髒資料門檻值處理,是大資料進行中不可缺失的資料同步工具。

       而越是使用越頻繁的産品,更容易成為使用者關注的焦點。

<b>尤其在操作界面上,如果邏輯層次配置設定不夠清晰,也會帶來非常大的工作量。</b>

1、重複報錯的顯示讓操作更簡單

資料同步華麗上位,大資料離線處理高枕無憂

2、界面的視覺互動,是擷取資訊的主入口

資料同步華麗上位,大資料離線處理高枕無憂

3、依據使用者的使用場景,字段映射忽略的源端與目的端的字段大小寫,提高效率

4、容易出錯的地方給予明顯提示:如新增的字段格式未識别,映射關系沒有連線的情況

資料同步華麗上位,大資料離線處理高枕無憂

5、 一鍵建表後,自動幫使用者選擇已建好的的表,提高工作效率

6、針對常發的找不到資料內建的情況,在資料開發套件首頁,增加資料內建的入口

資料同步華麗上位,大資料離線處理高枕無憂

7、運作日志,增加右鍵複制功能

<b>文檔在使用中做為問題量化的重災區,必不可少。</b>

      針對網絡問題,将使用者的資料源劃分為阿裡雲産品資料源、ecs自建資料源、本地自建的有公網ip的資料源、本地自建的無公網ip的資料源,分别提供不同的資料同步政策,特别是針對本地idc機房資料上雲:

1、提供安全加密的agent同步方案;

2、針對使用者的大批量同步需求,提供批量的任務配置、管理,一鍵化同步過程,提升使用者同步資料的效率;

3、資料內建更新下一代,将會和dataworks(資料工場)的資料地圖産品緊密結合,不僅提供資料的實體移動,也提供中繼資料的同步,同步的中繼資料展現在資料地圖之上,友善使用者先盤點、了解資料,再進一步決定移動哪些實體資料;

4、資料內建将新增用戶端app、html網站日志資料一鍵采集至使用者自己的大資料中心,使用者可以基于這部分日志資料,與使用者的其他資料結合進行商業分析。

  以上兩大部分内容正是産品團隊&amp;使用者體驗團隊通過使用者回報梳理出來。進行使用者走訪,與使用者進行深入溝通交流,整理出的上百條産品建議,以此進行了一系列的優化,通過産品界面引導,文檔說明,以及在資料源文檔中增加通過資料內建導入導出的說明,極大的友善了使用者進入最佳實踐,觸達使用者的效率提升,進而提升了使用者使用資料內建産品的效率。

  同時我們希望這不隻是一段文字的描述。我們更希望有場景描述,相關操作流程,操作截圖,或者是操作視訊上傳,更加詳細的展示相關資訊。

   如果您也想與其它客戶一起交流相關使用經驗,我們也特地為大家建立了資料內建交流釘釘群,可随時與其它小夥伴交流與分享經驗,說不定還能找到志同道合的人。

資料同步華麗上位,大資料離線處理高枕無憂