1. 聚能聊>
  2. 话题详情

说说你遇到比较难处理的实时计算业务场景?

你用实时计算解决哪些业务难题?

实时计算

这个概念与离线计算是相伴而生的。
离线计算:通过 ETL 程序清洗上报的数据,然后把数据存入 HDFS,通过 Hadoop 的批处理 Job 把数据导入 Hive、做 ORC 压缩处理、进行数据分区,然后再通过 Presto jdbc 定时调度任务,将 Hive 数据做统计聚合至 MySQL,然后为业务人员提供数据查询、钻取和分析的功能。
实时计算:不同于批量计算结果数据需等待数据计算结果完成后,批量将数据传输到在线系统;实时计算作业在每次小批量数据计算后可以立刻将数据写入在线/批量系统,无需等待整体数据的计算结果,可以立刻将数据结果投递到在线系统,进一步做到实时计算结果的实时化展现。
有了这样的需求和产品定义,自然会有相关的技术实现。目前工业级别的老牌实时流计算框架是 Storm,后起之秀有 Spark Streaming,Flink 等等。

阿里云实时计算

原阿里云流计算,是一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛应用于流式数据处理、离线数据处理、DataLake计算等场景。阿里云实时计算助力企业向实时化、智能化大数据计算升级转型。

场景

实时计算擅长解决的几个领域的应用场景包括,实时的网络点击PV、UV统计;统计交通卡口的平均5分钟通过车流量;水利大坝的压力数据统计和展现;网络支付涉及金融盗窃固定行为规则的告警等。特别适合BI人员、大数据开发人员等用户。
大体分为四种典型场景:

*互联网点击流分析:实时分析网站用户行为,精准实时把握用户画像;
*金融实时风控:实时监控金融恶意行为,实时风控避免用户损失;
*物联网IOT风控:实时监控侦测设备故障,即使避免潜在业务风险;
*电商精准推荐:实时跟踪用户行为变化,精准推荐提升产品销量。

案例

*新华智云:项目需要实时接收来自多个渠道的数据,对原始数据进行过滤、清洗、结构化等流程处理后,将结果写入OTS、ODPS、ES等存储系统;与此同时,在对数据进行结构化的同时,需要从多个维度进行统计分析。
*小亿网络:用户画像管理系统,离线计算的最低频率是每天做一次计算。然而有一些标签的实时性要求是非常高的,比如我想知道师傅最近30分钟之内有没有操作过APP等等。运维监控系统:技术体系中,绝大部分的监控都可以使用阿里云的云监控来完成。但是仍有小部分是云监控无法实现的,比如接口访问量监控、短信发送失败比例监控、服务日志监控等等。
*皓量科技:AdBright项目每天会产生数十亿的业务日志数据,目前累计的数据量也达到了一百多PB,我们的数据团队每天需要对这些数据进行受众分析,用户标签分析,数据建模等,从而使得我们的广告能够更精准地投放。
*凯京信达:司机通过APP提交车贷业务申请,公司大数据团队从客户申请信息、客户渠道信息、第三方征信风险数据、客户移动端实时采集的数据等维度对客户进行风险识别。其中移动端数据涉及到客户的APP操作行为、设备相关数据等,涉及到大量风控模型特征变量的实时计算问题。

话题

每个大的应用场景下,都有一些小的具体计算需求,那么你在实时计算中遇到的具体的业务场景是?
For example:
1.用户A:以购物网站为例,如何计算某网站实时uv/pv?
2.用户B:比如我想知道货车师傅最近30分钟之内有没有操作过APP?
3.用户C:要取出一天访问次数TOP20的客户端IP,用SQL可以算出这些IP每分钟的增量值吗?

除了上述三件礼品外,我们准备了20件礼品回馈给有场景需求的用户,另外也欢迎更多同学提供相关实践案例
_

参与话题

奖品区域 活动规则 已 结束

  • 奖品一

    Flink马克杯 x 4

  • 奖品二

    Flink书包 x 4

  • 奖品三

    Flink基础教程 x 4

35个回答

0

1178846280291025 复制链接去分享

书山有路勤为径,学海无涯苦作舟!

0

jujumi 复制链接去分享

如何提高网站知名度,小网站不知道如何处理,jujumi.top

0

kj5 复制链接去分享

域名怎么赚钱

0

海阔天空yy 复制链接去分享

每个大的应用场景下,都有一些小的具体计算需求,那么你在实时计算中遇到的具体的业务场景是?
拿共享单车举例:
每个用户打开地图,都要看到当前可用的单车。虽然看似简单,但是用户量非常多的时候,每分钟会有大量用户还车,用车,这个要能实施的更新用户地图界面,单车状态,后台还要实时能反映出,当前有多少单车可用,等等,这基本的数据量就很大。如果只用数据库,这个并发量会很快撑不住。
类似的其实还有很多,就电商类,物联网,等等

海阔天空yy 回复

Ps:如果可能的话,想要个背包

评论
0

浮生递归 复制链接去分享

每个大的应用场景下,都有一些小的具体计算需求,那么你在实时计算中遇到的具体的业务场景是?
答:其实用到实时计算的业务场景蛮多的。比如文中有提到的uv pv统计分析等,就很常见。但是呢,没有在没用应用flink之类的流计算之前,真的很坑。客户想看数据,打开一次统计页面,可能要等1分钟左右,这是无法忍受的。
除了uv pv统计外,这次的一个人事管理系统里,客户也提出了应当对其中的数据进行统计分析,且,这应该是该系统的核心功能。数据量挺大,又需要实时更新,就很符合文中说的实时计算的业务场景。但是负责承建该功能的同事是新人,我估计他并不了解流计算、实时计算之类比较新的东西。等功能上线后,发现各种问题时,估计他要头大了,哈。

ps:我也想要个flink书包,背在身上,就能让大家都看到flink了

0

1155946224430170 复制链接去分享

想学一个基础性的

0

lso好男人 复制链接去分享

我想要个基础教程,学习基础只是

0

1677330197580949 复制链接去分享

你好

0

myzhangj 复制链接去分享

过来拿分

0

greenstorm 复制链接去分享

我的降雨量监测系统需要每秒钟对上万个监测点的实时数据进行读取,然后根据每秒的降雨量数据实时计算出每分钟的和每个小时的降雨量,供防汛部门分析。

greenstorm 回复

求一本flink的书,谢谢

评论
0

1313346142579012 复制链接去分享

很好市场的需要

0

1041446117513715 复制链接去分享

很好

0

我的中国 复制链接去分享

网络设备安全行业:实时采集设备信息,统计告警,每秒数量非常庞大,如何保证所有数据消费不积压,以及界面查看如此庞大告警详情不卡顿都需要开发好。

0

景凌凯 复制链接去分享

目前项目是和金融相关的项目,用户的每一笔交易,都要涉及到数据的更新,同时在做图表这一块需要数据的实时同步。一旦出现,用户交易密集的情况,就会出现异常。

0

windywwang 复制链接去分享

运营发奖中:用户行为触发计算,如果用户行为结束后埋点数据到流计算进行规则匹配等处理完然后触发后续处理事件比较easy。问题:但如果用户行为触发计算后,前台跳转同步等待流计算结果,因为等待与流计算之间两条链路,且结果完成时间点不是太可控 ,感觉有点别扭,有没有更好的办法。

2