《Spark大数据分析实战》——3.2节Spark Streaming

  1. 云栖社区>
  2. 华章计算机>
  3. 博客>
  4. 正文

《Spark大数据分析实战》——3.2节Spark Streaming

华章计算机 2017-05-02 11:42:00 浏览1221
展开阅读全文

本节书摘来自华章社区《Spark大数据分析实战》一书中的第3章,第3.2节Spark Streaming,作者高彦杰 倪亚宇,更多章节内容可以访问云栖社区“华章社区”公众号查看

3.2 Spark Streaming
Spark Streaming是一个批处理的流式计算框架。它的核心执行引擎是Spark,适合处理实时数据与历史数据混合处理的场景,并保证容错性。下面将对Spark Streaming进行详细的介绍。
3.2.1 Spark Streaming简介
Spark Streaming是构建在Spark上的实时计算框架,扩展了Spark流式大数据处理能力。Spark Streaming将数据流以时间片为单位进行分割形成RDD,使用RDD操作处理每一块数据,每块数据(也就是RDD)都会生成一个Spark Job进行处理,最终以批处理的

网友评论

登录后评论
0/500
评论
华章计算机
+ 关注
所属云栖号: 华章计算机