天天看點

什麼是DataOp?DataOps目前的最大挑戰是什麼?

對于希望将準确資料有效地分發給使用者的公司而言,DataOps 是一種不斷發展的工具。DataOps 的必要性在需要為分析引擎和機器學習提供資料的企業中不斷上升。與DevOps 一樣,DataOps是關于将某些東西投入生産:DevOps所指的是代碼,DataOps則是資料。

2022年,公司對“什麼是 DataOps”提問的越來越少了,因為它的一般定義已被廣泛了解。但是,DataOps所提供的商業價值可能仍然不是非常顯著,尤其是在将 DataOps 作為另一種實施技術的情況下。

什麼是DataOp?DataOps目前的最大挑戰是什麼?

重要的是,DataOps 不僅有助于確定必要的資料可用,還確定及時傳遞該資料,并確定資料得到适當的管理。

全球咨詢公司 Protiviti 技術咨詢進階總監 Dan Sutherland 表示:“DataOps 團隊應該專注于簡化和優化目前的資料管道,并将他們的人員、架構、最佳實踐、設計和模式插入到所有新的資料開發工作中。”

全球技術研究和咨詢公司 ISG 解決方案負責人 Sush Apshankar 說:“有很多可用的工具、系統和技術,但挑戰在于找到符合您公司需求的工具、系統和技術。” “其次,你需要建立資料優先的心态,然後在團隊中找到合适的人。”

什麼是從資料裂縫中掉下來的

一些 DataOps 團隊正在建構強大的資料管道以提供切實的業務價值。衆所周知,資料和AI項目從構思到實作進展緩慢。除了将資料加載到現有資料湖中并弄清楚如何查找、過濾、清理和利用這些資料之外,企業通常沒有一緻的路徑或模式可以遵循。

同時,IT 部門通常得到高優先級營運請求的支援,是以企業可能會利用自己的員工來完成工作,而沒有明确的完成路徑。

一些公司不了解DataOps 的價值,是以缺乏所需的預算和人員。大多數公司面臨的常見問題包括缺乏對關鍵資料元素的分類、可用資料資産的單一可信清單以及最少或不一緻的資料定義。

對于資料和 AI 資産的開發、部署和操作,沒有明确的标準、紀律、方法論或一緻性。Sutherland 說,“DataOps 原則上需要確定所有資料和AI相關資産及流程的準确、及時更新,任何新項目都必須遵守标準并相應地更新庫存”。

當然,建構資料管道的資料工程師需要其他角色的支援來傳遞業務價值,這通常包括首席分析官 (CAO)、首席資料官、首席數字官、資料科學家、資料分析師和資料架構師。

“第一是它如何與您現有的系統內建,以及如何将技術 KPI 與業務 KPI 結合起來?” Apshankar說,技術 KPI 的一些示例,包括系統停機時間、提出的工單數量以及引入系統的速度。業務 KPI 包括人們是否實際使用它以及它如何減少時間和成本。

簡而言之,DataOps 必須首先彌合使資料可用和如何利用它推動業務價值之間的差距。

未來的DataOps趨勢

DataOps必須彌合使資料可用和利用它積極推動業務價值之間的差距。

最成熟的DataOps 團隊采用持續改進的 DevOps 思維方式,這可能涉及許多流程和實踐。盡管資料管道加快了資料通路速度并使資料處理更加可靠,但它們并不是“一勞永逸”的資産,即使它們可能會自動執行某些任務。如果系統連接配接性比較脆弱、資料未及時傳遞或必要的資源更改,則管道性能可能會下降。

“大多資料、分析和AI項目都失敗了,因為操作化是事後才解決的,”Sutherland說。“團隊應該向公司宣傳 DataOps 的商業價值,并監控所有新的和增強項目,以確定 DataOps 是每個計劃的開發和部署的一個組成部分。”

Sutherland 認為公司必須培養的一些技能包括:

1,了解雲原生技術和平台。

2,及時了解新産品和産品改進。

3,在資料和AI相關的靈活軟體開發生命周期方法、開發、單元測試和內建架構方面培養技能。