基于Spark SQL实现对HDFS操作的实时监控报警

  1. 云栖社区>
  2. 阿里云E-MapReduce(EMR)>
  3. 博客>
  4. 正文

基于Spark SQL实现对HDFS操作的实时监控报警

鱼跟猫 2019-04-12 11:05:14 浏览1677
展开阅读全文

1.前言

E-MapReduce计划从EMR-3.18.1版本开始提供Spark Streaming SQL的预览版功能。Spark Streaming SQL是在Spark Structured Streaming的基础上做了进一步封装,方便用户使用SQL语言进行Spark流式分析开发。Spark Streaming SQL直接地透明地受惠于Spark SQL的优化带来的性能提升,同时也遵循Spark Structured Streaming的语法约束,例如Spark Structured Streaming不支持多流聚合查询,Spark Streaming SQL也就同样不支持。关于EMR Spark Streaming SQL的使用入门,请参考:

网友评论

登录后评论
0/500
评论
鱼跟猫
+ 关注
所属团队号: 阿里云E-MapReduce(EMR)