天天看點

大資料的分析工具有哪些?

大資料分析處理的工具

大資料就是在各種類型的資料中快速獲得有有效 有價值的資訊的技術,大資料領域現今已經出現大量的 便于操作的新型技術,他們會是大資料采集,處理,存儲和資訊展現的最有效的工具。

1.大資料接入

大資料接入

已有資料接入,實時資料接入,消息記錄資料接入,檔案,文字,圖檔,視訊等資料接入。

大資料接入技術

Kafka,ActiveMQ,ZeroMQ,Flume,Sqoop,Socket(Mina,Netty),ftp/sftp

2.大資料存儲

大資料存儲

結構化資料存儲,半結構化資料存儲,非結構化資料存儲

大資料存儲技術

Hdfs,Hbase,Hive,s3,Kudu,MongoDB,Neo41, Redis,Alluxio(Tachyon),Solr,ElasticSearch

3.資料分析挖掘

大資料分析與挖掘

離線分析,實時分析,準實時分析,圖檔識别,語音識别,機器學習等

大資料分和挖掘技術

MapReduce,Hive,Pig,Spark,Flink,Impala,Kylin,Tez , Akka,Storm,S4等等。。

資料分析是要有各種資料庫的用戶端工具相結合的,比如說P/L SQL 查詢分析器 Navicat shell等用戶端工具 如使用基于web的TreeSoft資料庫管理系統,能夠同時連接配接Mysql Oracle ,BD2 ,SQL Server,MongoDB, Hive,SAP HAHA 就十分友善 , 使用基于Web的工具的好處:省時 便捷 一次部署,

4.大資料共享交換

大資料共享交換

資料接入,資料清洗,轉換,脫密,資料資産管理,資料導出

資料接入後,通常是存入在資料庫中的,便于對資料進行分析,清洗,轉換,脫敏等處理,而這些操作都離不開資料可視化用戶端工具,大量大資料需要分批次,分任務,分時段進行處理,TreeSoft資料庫管理系統提供了資料定時任務,管理,資料交換同步任務管理,任務統一管理,執行進度展示,處理日志和檢視等,

大資料共享交換技術

Kafka, ActiveMQ ,ZeroMQ,Dubbo,Socket(Mina,Netty),ftp/sftp ,RestFul,

Web Service

5.大資料的展現

大資料的展現

圖化展示(柱狀圖,地圖,餅圖,雷達圖,散點圖,折線圖,K線圖,箱線圖,熱力圖,關系圖,矩形樹圖, 漏鬥圖, 儀表盤,平行坐标);

大資料展現技術

Echarts, Tabeau,TreeSoft資料庫管理系統把SQL查詢結果直接以圖展示,快速展現分析結果

版權歸屬:轉載請保留作者連結:irzhd.com