天天看點

資料工程師吐槽:資料API開發遭遇的那些煩心事

資料工程師在崗位設定上位于業務端的上遊和資料科學家的下遊,在崗位職能上負責根據業務需求開發穩定可靠的資料服務API,通過API的方式傳遞給業務端使用。

資料工程師吐槽:資料API開發遭遇的那些煩心事

是以,很多時候資料開發工程師被人們認為是幹苦活兒的,是以經常聽到資料開發工程師吐槽。這篇文章就為大家解讀資料API開發過程中,除了開發資料表還需要面對哪些煩心事。

(1)如何傳遞資料服務:業務部門通常需要使用資料接口(RPC和HTTP)的方式來使用資料,資料開發工程師要求建立對應的資料服務,更加高效、靈活、解耦。

(2)如何開發資料服務API:主流的資料服務有多種形式,例如KV API(簡單點查)、SQL API(複雜靈活查詢API)、Union API(混合API)等,需要資料開發工程師根據業務的具體需求進行選擇開發。

(3)如何規範通路權限:資料服務API完成開發後,資料開發工程師要考慮權限問題,確定資料服務是在權限許可的範圍内被安全的通路。

(4)如何確定服務可用性:這是開發資料服務API的核心價值。不管是某個業務部門通路,還是整個集團範圍的通路,完成開發後,要反複進行壓力測試,用多種手段保障資料通路的穩定性。

(5)如何避免重複造輪子:很多時候公司在不同業務線下,經常會出現資料同步和微服務都是相同的,重複造輪子的情況屢見不鮮——重複開發資料服務,造成了一定程度的資源浪費;傳統資料API開發方式效率低下,從資料開發到最終傳遞資料服務,短則幾天長則數十天。

(6)如何解決API運維問題:一個資料服務API的完整生命周期将涉及多個運維環節的問題,如擴容、遷移、下線、接口變更、服務報警等,幾十甚至成百上千的資料服務API所面臨的運維問題可能是指數級的增加。

根據資料開發工程師吐槽的這些問題,如果繼續通過傳統資料API開發方式尋找答案,隻會越走越遠。這裡,為資料開發工程師推薦一款新工具——麥聰DaaS平台可以高效地解決傳統API開發所遭遇的問題。

這裡為大家簡單解讀一下麥聰DaaS平台在資料API開發和管理方面突出優勢。在資料API開發方面,使用者隻需在Web界面上選資料庫和表,設定請求參數、傳回參數幾分鐘即可完成一個資料API開發。

在權限管理方面,調用資料API前,使用者需要經管理者審批通過後,才能拿到API的調用位址和請求示例的使用權限,例如可設定通路使用者的權限,隻讀、可讀寫等。