大数据的分析工具有哪些?

  1. 云栖社区>
  2. 博客>
  3. 正文

大数据的分析工具有哪些?

游客3ddqk37qag4sa 2019-10-16 16:36:51 浏览787
展开阅读全文

大数据分析处理的工具
大数据就是在各种类型的数据中快速获得有有效 有价值的信息的技术,大数据领域现今已经出现大量的 便于操作的新型技术,他们会是大数据采集,处理,存储和信息展现的最有效的工具。

1.大数据接入
大数据接入
已有数据接入,实时数据接入,消息记录数据接入,文件,文字,图片,视频等数据接入。

大数据接入技术
Kafka,ActiveMQ,ZeroMQ,Flume,Sqoop,Socket(Mina,Netty),ftp/sftp

2.大数据存储
大数据存储
结构化数据存储,半结构化数据存储,非结构化数据存储
大数据存储技术
Hdfs,Hbase,Hive,s3,Kudu,MongoDB,Neo41, Redis,Alluxio(Tachyon),Solr,ElasticSearch

3.数据分析挖掘
大数据分析与挖掘
离线分析,实时分析,准实时分析,图片识别,语音识别,机器学习等

大数据分和挖掘技术
MapReduce,Hive,Pig,Spark,Flink,Impala,Kylin,Tez , Akka,Storm,S4等等。。
数据分析是要有各种数据库的客户端工具相结合的,比如说P/L SQL 查询分析器 Navicat shell等客户端工具 如使用基于web的TreeSoft数据库管理系统,能够同时连接Mysql Oracle ,BD2 ,SQL Server,MongoDB, Hive,SAP HAHA 就十分方便 , 使用基于Web的工具的好处:省时 便捷 一次部署,

4.大数据共享交换
大数据共享交换
数据接入,数据清洗,转换,脱密,数据资产管理,数据导出
数据接入后,通常是存入在数据库中的,便于对数据进行分析,清洗,转换,脱敏等处理,而这些操作都离不开数据可视化客户端工具,大量大数据需要分批次,分任务,分时段进行处理,TreeSoft数据库管理系统提供了数据定时任务,管理,数据交换同步任务管理,任务统一管理,执行进度展示,处理日志和查看等,

大数据共享交换技术
Kafka, ActiveMQ ,ZeroMQ,Dubbo,Socket(Mina,Netty),ftp/sftp ,RestFul,
Web Service

5.大数据的展现
大数据的展现
图化展示(柱状图,地图,饼图,雷达图,散点图,折线图,K线图,箱线图,热力图,关系图,矩形树图, 漏斗图, 仪表盘,平行坐标);
大数据展现技术
Echarts, Tabeau,TreeSoft数据库管理系统把SQL查询结果直接以图展示,快速展现分析结果
版权归属:转载请保留作者链接:irzhd.com

网友评论

登录后评论
0/500
评论
游客3ddqk37qag4sa
+ 关注