1. 聚能聊>
  2. 话题详情

互联网大数据时代的实时计算需求,你打算用什么方式来应对?

现在互联网大数据背景下,由于数据得到广泛应用之后,数据的价值随着时间的流逝而降低,所以事件出现后必须尽快对它们进行处理,最好事件出现时便立刻对其进行处理,发生一个事件进行一次处理,而不是缓存起来成一批处理。实时计算引擎近些也随之崛起,比如业界广泛使用的就是Flink引擎,同时这就要求开发人员在计算引擎上建立和开发对应的实时计算任务。

传统实时任务开发痛点

  • 无论是SQL还是Java、python,开发任务必须写代码,而且代码形式不利于后期业务逻辑分析和维护
  • 开发过程中无法调试,只能等全部任务完成,才能上线调试,有问题修改后在上线,反复验证
  • UDF开发需要单独打包编译上传,跟任务本身属于分割开发状态,容易造成流程繁琐,版本混淆
  • 运维门槛非常高,如果不是对实时计算引擎了解精深,很难做到有效运维、排查问题

为了解决上述问题,DataWorks重磅推出的全新实时计算产品——Stream Studio,是个一站式流计算开发平台,基于阿里巴巴实时计算引擎Flink构建。同时在易用性上大大降低了开发者的使用门槛。

test

StreamStudio集DAG和SQL两种开发模式,支持DAG与SQL互相转换,通过可视化拖拽就可以轻松实现流计算作业开发,适用于实时ETL、实时报表、实时大屏、监控预警以及各类实时在线系统等应用场景。

>>5月15日 15:00 DataWorks Stream Studio发布会 直播间入口
>>更多了解Stream Studio

话题
1.之前你对大数据实时计算有了解吗?知道哪些应用场景?
2.是否开发过实时任务,有的话,是用于什么场景的?用过什么工具?
3.对于大数据实时计算的平台,你有什么好的建议吗?

参与话题

奖品区域 活动规则 已 结束

  • 奖品一

    阿里云代金券 x 3

  • 奖品二

    云栖定制电脑包 x 1

  • 奖品三

    运动手环 x 1

27个回答

1

北方的郎

1.之前你对大数据实时计算有了解吗?知道哪些应用场景?
有。场景包括在线分析,用户推荐,网站点击统计等。

2.是否开发过实时任务,有的话,是用于什么场景的?用过什么工具?
产品推荐。Flink。

3.对于大数据实时计算的平台,你有什么好的建议吗?
主要是速度和易用性。我觉的现在的StreamSQL将实时计算与SQL结合起来,很方便。现在正在研究。

1

游客gn2yrgexrvhqu 复制链接去分享

天天听大家讲大数据,大数据具体怎么来的,应该很多人都不清楚,包括我

烧火取暖 回复

我也是

qiubaixifang 回复

大数据需要强大的资源整合

黯灭_邓彬 回复

大数据是一套从业务数据到反补业务提升的一套解决方案,大数据的价值在于帮助业务创造更高的价值。我们经常说的数据化运营,就是通过数据来提升业务的手段,那运营中需要什么数据?这些数据如何被加工出来?数据来源哪些日志数据......这一系列的问题才形成了“大数据”的统称词汇

1269997633388593 回复

大数据应该是业务发展到一定阶段下提出的,比如随着百度、淘宝,日志产生越来越多,一天就到EB量级,这个数据量下怎么快速挖掘数据价值就是大数据的存在意义

评论
2

黄二刀 复制链接去分享

1.之前你对大数据实时计算有了解吗?知道哪些应用场景?
Flink用过一段时间。主要用于大数据实时分析,例如,千人千面,客户喜好分析。
2.是否开发过实时任务,有的话,是用于什么场景的?用过什么工具?
有,客户喜好产品推荐。用Flink做的。
3.对于大数据实时计算的平台,你有什么好的建议吗?
相应速度很重要,有时候分析的响应速度太慢了,难以忍受。
不知道是我们比较穷用的是低配的服务器做集群,还是程序结构写得有问题,傻傻分不清楚。

蔷薇飞飞 回复

😂

1269997633388593 回复

每个引擎都对资源有各自要求,阿里云的StreamStudio和Flink提供的独享模式让你不用担心机器问题,只要关注业务逻辑即可,让你使用最少资源发挥最大的引擎性能!

评论
0

游客23u2qwqnfkxmc 复制链接去分享

新手 还有些不懂

游客abetuzoyqri7g 回复

你好!我是新手还不太懂!

1269997633388593 回复

欢迎加入钉钉群 23359532 随时沟通交流

评论
1

qvbskdh 复制链接去分享

通过提高响应速度来让数据变得更有价值,让用户觉获取这样的数据不会浪费时间,从而在另一个方面上提高了数据的价值。

烧火取暖 回复

对,关键现在内容太少

评论
1

两三个 复制链接去分享

随着互联网的深入层次的发展,网络医疗终究会出现。我不懂互联网,我也没能力去搭建网络医疗的平台,但是我还是希望我的看法会采纳,这是我的理想,也是我想看到的。根据我的观察,现阶段医院中的内部医疗程序比较落后,无论书写病例,下达医嘱,办理住院这些来说,以医院内的程序操作起来极为麻烦。还有,每一个医院的程序几乎都不一样。那么开发一个便捷,统一的医疗程序势在必得。那么说回来,网络医疗最重要的是什么?在我看来最重要的是电子病例库,每个医院的程序数据库中都有一个电子病例库。里面记录了每个人的病程,过敏史遗传史以及治疗历程。这些东西是每个医生最基本的治病参考。那么真正的网络医疗布局什么样子的?我觉得是这种电子病例库大数据的共享。在网络医疗上,可以规避地域限制。比如我可以在北方的某个城市去挂一个上海的专家的号,那么这个网络医疗平台就会给你排好日期时间,不需要等待,这个时间就可以直接去看病。这不是主要。当我们如果去不了这么远,但是依然想看病怎么办?那么网络医疗的作用就凸显出来了,你可以通过这个平台预约网上号,专家会对你网上会诊,他会给你开出一些检查项目。你可以在本地医院检查,再上传至专家那,然后开出处方,由本地医院拿药,甚至送药上门。那么好了,上面说的医院本身程序就是这个问题,只要做好每个医院内部程序的统一,再由每个医院的点,由点化面,组成这个网络医疗的大数据网,这就会好很多,而且电子病例也会直接进入网络医疗这个系统。在这个系统里,医生不负责于每个医院,而是每个医生相当于有自己的网上工作室,从而不再有地域,医院的限制。真正发达的网络医疗,我相信医院不再需要挂号处,不需要坐诊医生。病可以网上看,医院做的只需要按照网上流程治疗。还有,医疗责任也是个大问题,所以为医生,病人上份保险是很必要的。当然网络医疗是可以延伸很多产业的,如孕妇婴儿护理中心,养老中心,检查中心等等,这是一个个产业链。我相信网络医疗终会发展至这样。我知道里面很多细节问题,有些建议不成熟,但是我想看着它成熟,哪怕我没能力做,没有平台。但是我还是希望阿里巴巴能看见,能采纳,能发展,能让他出现在这个时代。

0

游客n5l6sjl72xc7o 复制链接去分享

还得继续学习

1269997633388593 回复

欢迎加入钉钉群 23359532 随时沟通交流

评论
0

游客cwrdy6uuzimcg 复制链接去分享

新手,不大懂

1269997633388593 回复

欢迎加入钉钉群 23359532 随时沟通交流

评论
1

烧火取暖 复制链接去分享

互联网金融服务是未来比较常见的商业模式

0

游客jfdp67r3fcnou 复制链接去分享

不了解

0

游客5ciw7uuhpbyf2 复制链接去分享

好的

0

蔷薇飞飞 复制链接去分享

这个活动我必须参与进来
7e524141e6ed4c468d3651a6651ded52_6d0e50e087194358a57bda28444c009e.jpg

0

超人资源联盟 复制链接去分享

我也不知道具体什么情况

0

十二先生z 复制链接去分享

在将来云码编程会程序语言的主导。

0

游客cevyyi7qovmns 复制链接去分享

不应对可不可以?

0

jiumao9 复制链接去分享

学习学习学习学习学习学习

0

wangccsy 复制链接去分享

使用阿里云,在国内是不二之选啊。

0

游客xjgwue4wapv7s 复制链接去分享

哈哈,那我听你说吧

0

游客wpb5z2iams47m 复制链接去分享

新手,抓紧学习中。

0

游客tlm3gfkmnju4q 复制链接去分享

新手,不太懂

2