如何基于Dataphin做到開發測試一站式搞定？

最近在Quora上的一次讨論，程式員分享了他們認為工作中最大的困難。其中排名第二的是：“寫測試任務描述“。小姐姐很疑惑了，最難的難道不是寫代碼嗎？寫測試有什麼難的呢？

資料研發也好，軟體開發也好，其實大型任務通常是很複雜的，包含了成千上萬行代碼，其中數不清的互動接口、路徑和邏輯；而要把每一個細節都檢查确定結果無誤後再送出代碼其實是一件很困難的事情。是以某些開發方會鼓勵開發GG們在編寫程式之前就寫好測試腳本。但是這無疑是一件枯燥乏味且耗時耗力的事情。

https://img.alicdn.com/tfs/TB1wZQjueT2gK0jSZFvXXXnFXXa-168-168.png

有沒有什麼辦法可以讓代碼在本地快捷測試，測試全部通過再釋出線上進行排程呢？如果釋出了錯誤的腳本任務上線，會導緻我線上的資料庫受影響嗎？

同學們，Dataphin給我們指了一條光明大道！

Dataphin支援本地資料調試、線上模拟測試，保障上線任務正确性

示例1、Dataphin·實時計算本地采樣調試功能

對于每一個實時計算任務，我們支援對所用的表進行采樣資料。

可以采樣本地資料進行調試，不會影響到線上資料表，安全高效測試；同時我們支援算子調試，即無需采樣資料的調試方法。調試完成後，可以看到調試的中間結果和調試結果，待調試完畢，可以送出該任務。随寫随調，讓任務開發安全有保障，上線任務更放心！

https://img.alicdn.com/tfs/TB1b_Emui_1gK0jSZFqXXcpaXXa-1033-683.png https://img.alicdn.com/tfs/TB1ok7kuoT1gK0jSZFrXXcNCXXa-1172-449.png https://img.alicdn.com/tfs/TB1AoEkuhn1gK0jSZKPXXXvUXXa-1148-412.png

示例2、Dataphin·實時計算測試執行個體功能

除了本地資料的調試功能，我們還引進了全鍊路的測試功能。送出實時計算任務，在正式釋出生産環境之前，可以在開發環境啟動測試執行個體。我們支援兩種測試方式：列印日志、寫測試表；輕松掌控自己寫的任務會對線上造成的影響。

https://img.alicdn.com/tfs/TB1g.QjuhD1gK0jSZFsXXbldVXa-1470-914.png

列印日志的方式相對簡單，無需引入額外成本。且可以非常直覺地看到輸出結果。可以被獨立地測試與驗證，适用于快速驗證明時代碼加工邏輯正确性的場景。推薦實時任務正式釋出前先經過列印日志的測試。

https://img.alicdn.com/tfs/TB14p7kukL0gK0jSZFtXXXQCXXa-1186-772.png

列印日志的方式雖然可以發現實時任務的大多數問題，但是對于易購系統鍊路是否暢通，寫入目标資料庫系統時是否會因為設定、權限等問題報錯，輸出值是否能比對到目标系統等問題，還需要通過寫表的方式進行驗證。是以我們提供了第二種方式，寫測試表。

https://img.alicdn.com/tfs/TB10MZkuXP7gK0jSZFjXXc5aXXa-1176-988.png

建議在使用列印日志的方式驗證整體鍊路邏輯正确性後，再使用寫測試表的方式驗證輸出結果與目标資料庫的比對問題。

Dataphin支援一站式開發和運維，簡化全流程

寫任務當然不是簡單的腳本查詢就夠了！我如何能做到統一的任務管理、資源管理、運維監控等等一系列的事情呢？我想讓所有資料資産化，函數資源可複用，任務可以周期定時觸發，且有的名額可以實時計算，怎麼去實作呢？選擇Dataphin·通用研發，幫你實作從規劃到開發、運維的一系列需求！

1、實時計算元表功能子產品，統一建立、管理元表，簡化了任務研發過程中的DDL過程，元件化配置資料表，讓開發過程更加便捷高效。

https://img.alicdn.com/tfs/TB1xg.kuhz1gK0jSZSgXXavwpXa-1470-946.png

2、函數、資源統一管理，可在代碼任務中引用，平台化可多次複用。

https://img.alicdn.com/tfs/TB1AaElulv0gK0jSZKbXXbK2FXa-644-852.png https://img.alicdn.com/tfs/TB1A3AouoY1gK0jSZFCXXcwqXXa-770-842.png

3、實時計算代碼模闆化，有利于不同業務需求間的代碼複用。

https://img.alicdn.com/tfs/TB1k8ckuoT1gK0jSZFrXXcNCXXa-1470-1046.png

4、腳本任務送出釋出排程，生成周期排程的任務，可進行定期觸發，統一運維，監控報警等。

https://img.alicdn.com/tfs/TB1hRZpubj1gK0jSZFuXXcrHpXa-1470-916.png

小姐姐已經被Dataphin圈粉了，滿腦子都是，OMG，用它！

————————————————————————————————————————————————————————————————————

阿裡巴巴資料中台團隊，緻力于輸出阿裡雲資料智能的最佳實踐，助力每個企業建設自己的資料中台，進而共同實作新時代下的智能商業！

阿裡巴巴資料中台解決方案，核心産品：

· Dataphin，以阿裡巴巴大資料核心方法論OneData為核心驅動，提供一站式資料建構與管理能力；

· Quick BI，集阿裡巴巴資料分析經驗沉澱，提供一站式資料分析與展現能力；

· Quick Audience，集阿裡巴巴消費者洞察及營銷經驗，提供一站式人群圈選、洞察及營銷投放能力，連接配接阿裡巴巴商業，實作使用者增長。

歡迎志同道合者一起成長！