先說個行業背景。最近幾年,企業都在搞數字化建設、數字化轉型,進行的可以說是如火如荼。産出的方案和資料架構倒是不少,卻殊不知都隐藏着諸多痛點,其中的一個比較突出的問題就是資料的靈活服務問題。
資料的靈活服務有哪些問題呢?首先,資料庫架構太複雜,資料庫供應商更是五花八門,簡直就是一個資料的“大雜燴”。面對如此複雜的情況,企業就不得不開高薪找一些不同開發語言的工程師進行開發。
開發本身沒問題,但開發之後就引發了一系列棘手的問題。就拿調用 API 接口來說吧,API的穩定性可以說是最難保證的,此外,資料的擷取也是比較麻煩,需要開發團隊開發資料接口,業務需求不同,資料接口不同,這工作量就可想而知了。
是以痛點怎麼解決呢?資料服務這個概念就出來了。什麼是資料服務?資料為誰服務?資料怎麼服務?今天這篇文章就和大家一起深入探讨資料服務這一概念,希望能對大家有所幫助!
一、資料服務的概念
資料服務其實是個跨界概念,它與幾個領域像資料內建、全生命周期API管理、DaaS、EiPaaS(後續研究分析)都有關聯。說實話,資料服務的一個核心點就是将資料作為一種商品提供給不同的系統和使用者,而且這種商品是按需擷取的。
再說白一點,資料服務=資料即服務,這種服務應該屬于是SVIP的高規格服務,不問來源,不問服務的類型,像聚合、資料品質管理、資料清洗等等完全沒問題。對于提供商來說,不管和消費者在地理上或者組織上有沒有分離,隻要使用者有需求,就根據具體的需求把資料提供給他們。
那資料服務這個炫酷、高大上的概念為什麼能落地呢?其實主要有兩個原因:面向服務的架構(SOA)和廣泛應用的 API。
二、資料服務的子場景
1. 資料釋出
在過去,資料部門産出了海量資料,但是如何能友善高效地開放出去,是一個難題。在沒有資料服務的年代,資料開放的方式都是非常簡單、粗暴的,一般是直接将資料導出給對方。這種方式不僅低效,還帶來了安全隐患等諸多問題。現在有了資料服務,直接實作内部業務系統開放資料,對于平台開發的标準資料,使用者可以通過簡單配置封裝為 API 資産進行統一管理和釋出。更為重要的是,使用者僅僅使用單一的資料開發工具,就可以完成資料開發場景的閉環,這裡的閉環是指在企業内從資料采集到資料加工,再到資料分享的一整條鍊路。這就好比搭建了一條資料流通的高速公路,讓資料在企業内順暢地流動,可以說是非常友善。
2. 資料寫入
Gartner提出了一個重要觀點,所有內建挑戰都可以分解為三種內建模式的某種組合。
- 模式一:資料一緻性內建
- 模式二:多步驟流程內建
- 模式三:建立組合服務
這三種模式都比較簡單,就不給大家過多解釋了。這裡為什麼講資料內建呢?因為資料服務通過 API 接口實時接入資料,可以說是進一步豐富了資料采集的方式,解決了大部分的上述的問題。
此外,當資料服務與流式ETL相結合時,能夠實作解析處理邏輯和寫入目标端的靈活自定義。這意味着什麼呢?換句話說就是企業說了算。企業可以根據自身的業務需求,靈活地設定資料的解析規則和寫入目标。
然而,這種結合方式并非十全十美,它存在一定的局限性,它的局限性就展現在依賴于流式ETL(實時計算)子產品。這就如同一輛高性能的汽車,雖然具備強大的行駛能力,但必須依賴特定的燃料才能正常運轉。如果流式ETL子產品出現問題或者性能不足,可能會影響整個資料服務與實時資料接入的效果,進而對企業的資料處理和業務營運産生不利影響。
3. 資料編排
使用者可以通過可視化開發,實作雲上雲下少量資料實時靈活編排和流程應用的建構。從産品融合角度來看,在體驗資料開發服務的同時,還可以搭配一些無代碼應用搭建平台(如簡道雲)一起使用,實時接收資料進行自定義處理。
4. 資料訂閱推送
大家要明确的一點是使用者或者說資料的消費者的資料消費需求是多樣化的,對于資料消費者而言,資料服務的優勢就在于一個詞:便捷性。通過資料服務的簡單配置就能滿足自己的需求,而對于資料提供者來說,資料釋出的時機完全由資料提供者主導。這種機制可以看作是一種對于資料的有效管控。同時,如果使用者有實時資料的需求,同樣可以通過資料服務的簡單配置滿足大屏等業務系統的需求。
然而,值得注意的一點是在實時資料推送服務方面,靈活的推送方式還是依賴于流式 ETL(實時計算)子產品的開發。換句話說,如果流式 ETL 子產品的開發不夠完善,可能會導緻一系列問題,包括實時資料推送的延遲、資料丢失或者推送不準确等等,自然而然,就會影響到資料消費者對實時資料的使用和業務系統的正常運作。
總之,資料服務的這四個子場景互相關聯、互相補充,共同構成了資料服務的完整體系。
三、資料服務工具推薦
市面上與資料服務相關的工具其實也不少,像FineDataLink、Tableau、Informatica PowerCenter等等,今天這篇文章就不給各位上盤點了,先重點給大家介紹我平時常用的一款工具——FineDataLink,其實FineDataLink的應用場景不外乎是2種:
- 企業安全規範要求,不允許直連業務庫,代碼開發接口效率低,人工傳輸易出錯。
- 缺乏安全的資料共享機制,随着資料消費端增加,IT 出現重複造輪子的傾向。
而FDL的資料服務提供了資料的共享能力,将加工、融合後的資料封裝釋出為規範化 API 接口資料,供外部系統調用。
FDL使用連結:「連結」
那麼下面我們以資料提供商的視角給大家示範一下如何使用FineDataLink 調用已釋出的 API:
1. 準備工作
準備工作就是調用者需要獲得 API 的使用權限。首先你要有權限才能調用。
2. FDL 中調用生成的 API
1)點選「資料開發」,建立一個定時任務。
2)由于 2.3 節建立的 API 中,是從 demotest 資料庫的「S訂單資料」表中,取出貨主地區為參數 area 的資料,是以我們需要先給 area 指派。
點選「參數清單」,生成參數 area ,值為「華東」。如下圖所示:
3)拖入「資料同步」節點,輸入 API 相關資訊,調用接口。如下圖所示:
Body 内容可直接複制本文 2.3.3 節中的 Body 内容,area 的值改為${area}即可。
點選「資料預覽」,如下圖所示:
若在響應體進行中輸入data,可解析 data 字段。如下圖所示:
使用者也可以拖入「資料轉換」節點,拖入「API輸入」算子擷取API資料,再拖入「JSON解析」算子解析 data 字段。
通過對資料服務的概念的相關解析和資料服務工具的示範,相信大家對于資料服務的概念有了更深層次的了解,如果大家還有關于資料服務的相關疑問或者尋求資料服務的解決方案,可以點選下方卡片進行咨詢!https://s.fanruan.com/ieied 帆軟通行證登入