天天看点

什么是DataOp?DataOps当前的最大挑战是什么?

对于希望将准确数据有效地分发给用户的公司而言,DataOps 是一种不断发展的工具。DataOps 的必要性在需要为分析引擎和机器学习提供数据的企业中不断上升。与DevOps 一样,DataOps是关于将某些东西投入生产:DevOps所指的是代码,DataOps则是数据。

2022年,公司对“什么是 DataOps”提问的越来越少了,因为它的一般定义已被广泛理解。但是,DataOps所提供的商业价值可能仍然不是非常显著,尤其是在将 DataOps 作为另一种实施技术的情况下。

什么是DataOp?DataOps当前的最大挑战是什么?

重要的是,DataOps 不仅有助于确保必要的数据可用,还确保及时交付该数据,并确保数据得到适当的管理。

全球咨询公司 Protiviti 技术咨询高级总监 Dan Sutherland 表示:“DataOps 团队应该专注于简化和优化当前的数据管道,并将他们的人员、架构、最佳实践、设计和模式插入到所有新的数据开发工作中。”

全球技术研究和咨询公司 ISG 解决方案负责人 Sush Apshankar 说:“有很多可用的工具、系统和技术,但挑战在于找到符合您公司需求的工具、系统和技术。” “其次,你需要建立数据优先的心态,然后在团队中找到合适的人。”

什么是从数据裂缝中掉下来的

一些 DataOps 团队正在构建强大的数据管道以提供切实的业务价值。众所周知,数据和AI项目从构思到实现进展缓慢。除了将数据加载到现有数据湖中并弄清楚如何查找、过滤、清理和利用这些数据之外,企业通常没有一致的路径或模式可以遵循。

同时,IT 部门通常得到高优先级运营请求的支持,因此企业可能会利用自己的员工来完成工作,而没有明确的完成路径。

一些公司不了解DataOps 的价值,因此缺乏所需的预算和人员。大多数公司面临的常见问题包括缺乏对关键数据元素的分类、可用数据资产的单一可信清单以及最少或不一致的数据定义。

对于数据和 AI 资产的开发、部署和操作,没有明确的标准、纪律、方法论或一致性。Sutherland 说,“DataOps 原则上需要确保所有数据和AI相关资产及流程的准确、及时更新,任何新项目都必须遵守标准并相应地更新库存”。

当然,构建数据管道的数据工程师需要其他角色的支持来交付业务价值,这通常包括首席分析官 (CAO)、首席数据官、首席数字官、数据科学家、数据分析师和数据架构师。

“第一是它如何与您现有的系统集成,以及如何将技术 KPI 与业务 KPI 结合起来?” Apshankar说,技术 KPI 的一些示例,包括系统停机时间、提出的工单数量以及引入系统的速度。业务 KPI 包括人们是否实际使用它以及它如何减少时间和成本。

简而言之,DataOps 必须首先弥合使数据可用和如何利用它推动业务价值之间的差距。

未来的DataOps趋势

DataOps必须弥合使数据可用和利用它积极推动业务价值之间的差距。

最成熟的DataOps 团队采用持续改进的 DevOps 思维方式,这可能涉及许多流程和实践。尽管数据管道加快了数据访问速度并使数据处理更加可靠,但它们并不是“一劳永逸”的资产,即使它们可能会自动执行某些任务。如果系统连接性比较脆弱、数据未及时交付或必要的资源更改,则管道性能可能会下降。

“大多数据、分析和AI项目都失败了,因为操作化是事后才解决的,”Sutherland说。“团队应该向公司宣传 DataOps 的商业价值,并监控所有新的和增强项目,以确保 DataOps 是每个计划的开发和部署的一个组成部分。”

Sutherland 认为公司必须培养的一些技能包括:

1,了解云原生技术和平台。

2,及时了解新产品和产品改进。

3,在数据和AI相关的敏捷软件开发生命周期方法、开发、单元测试和集成框架方面培养技能。