来源公众号:优享智库
建设目标
系统需要提供对数据仓库类应用的支持,提供对数据分析、数据挖掘类应用的支持,能够存储、查询、分析海量全市公安局的历史数据,提供实时数据计算模块,提供并行分析算法包,可以替代传统数据库系统的大数据管理软件系统、大规模并行数据挖掘软件工具包、R语言业务建模可视化工具、流式计算软件工具包、数据复制与资源管理等支持类软件工具包。
软件架构
企业级大数据分析平台是业界领先的处理企业级大数据场景的高性能一站式分析平台。它可以帮助企业快速建立一个统一的数据和计算平台,快速支持企业内部/外部数据的采集与集成、实现海量数据的存储、并提供极佳的数据计算与深度分析挖掘能力。在大数据平台之上,用户可以构建相应的分析挖掘应用,从而辅助企业及时洞察新的商机和潜在的风险,提升企业竞争力。
软件架构
大数据产品具有业界完整的SQL on Hadoop支持,实现完整支持SQL标准,增强分布式事务处理能力,全面支持MPP场景;突破实时处理计算框架,支持物联网实时业务分析;最完整的并行数据挖掘算法库,并原创前沿机器学习组件;一站式图形化的数据开发套件,可快速分析应用;它是企业级大数据场景的高性能一站式分析平台的优秀选择。
总体技术架构设计
基于企业内部多年的大数据建设实践经验,针对开源Apache Hadoop/Spark框架进行了大量的修复完善及深度优化工作,并自主创新的众多功能和实用工具,易于使用者开发和管理。
大数据分析平台从功能架构上分为数据集成套件、大数据计算平台、算法与分析工具组件、平台运维管理组件、数据资产管理组件、数据可视化组件。
总体技术架构设计