01. Spark Streaming实时流处理学习——初识实时流处理

  1. 云栖社区>
  2. 博客>
  3. 正文

01. Spark Streaming实时流处理学习——初识实时流处理

牦牛sheriff 2018-09-02 05:37:40 浏览2607
展开阅读全文

1. 初识实时流处理

1.1. 业务现状分析

统计主站每个(指定)课程访问的客户、地域信息分布
地域:ip转换
客户端:useragent获取
如上两个操作:采用离线(Spark/MapReduce)的方式进行统计

实现步骤
课程编号、IP信息、useragent
进行相应的统计分析操作:MapReduce/Spark

项目架构
日志收集:Flume
离线分析:MapReduce/Spark
统计结果图形化展示

问题
1小时级别
10分钟
5分钟
1分钟
秒级别

基于Hadoop的实现方案
存在的问题?
如何解决????===> 实时流处理框架

1.2. 业务现状分析

实时流处理产生背景

时效性高
数据量大

实时流处理概述

实时计算
流式计算
实时流式计算

离线计算与实时计算对比

  • 数据来源
    离线:HDFS 历史数据 数据量比较大

实时:消息队列(Kafka),实时新增/修改记录过来的某一笔数据

  • 处理过程
    离线:MapReduce:map + reduce

实时:Spark(DStream/SS)

  • 处理速度
    离线:慢

实时:快速

  • 进程
    离线:启动+销毁

实时:7*24

实时流处理框架对比

  • Apache Storm
    image.png
  • Apache Spark Streaming
    微批处理框架
  • IBM Stream
  • Yahoo! S4
  • Linkin Kafka
  • Flink

实时流处理架构与技术选型
image.png

实时流处理在企业中的应用

  • 电信行业

    短信发布用户流量使用情况,通话计费等场景(需要实时,流式处理)。
    流量陷阱监控软件,实时流式监控流氓流量盗取软件。
  • 电商行业

    电商平台中的实时推荐系统,根据用户目前正在访问的资料,实时推荐相关产品链接,或者推广方案。
    

网友评论

登录后评论
0/500
评论
牦牛sheriff
+ 关注