1. 聚能聊>
  2. 话题详情

聊聊JStorm的最佳实践

在3月1日首届阿里开源峰会上,阿里巴巴中间件技术专家 卫乐 将为大家分享JStorm的相关话题。

_jpeg

JStorm是阿里基于Storm开发的纯Java的实时计算框架,自开源以来历经了多个版本的更新和演化,目前也是阿里巴巴集团内部重要的实时计算框架之一。本次在阿里开源峰会上,卫乐分享的内容主要涵盖JStorm在阿里内部的使用场景、版本/功能演进,以及一些开发、部署、运维上的最佳实践。

先在普及一下Alibaba JStorm的概念

Alibaba JStorm 是一个强大的企业级流式计算引擎,是Apache Storm 的4倍性能, 可以自由切换行模式或mini-batch 模式,JStorm 不仅提供一个流式计算引擎, 还提供实时计算的完整解决方案, 涉及到更多的组件, 如jstorm-on-yarn, jstorm-on-docker, SQL Engine, Exactly-Once Framework 等等。
jstorm_arch

应用场景

JStorm处理数据的方式是基于消息的流水线处理, 因此特别适合无状态计算,也就是计算单元的依赖的数据全部在接受的消息中可以找到, 并且最好一个数据流不依赖另外一个数据流。
因此,常常用于:
·日志分析,从日志中分析出特定的数据,并将分析的结果存入外部存储器如数据库。目前,主流日志分析技术就使用JStorm或Storm
·管道系统, 将一个数据从一个系统传输到另外一个系统, 比如将数据库同步到Hadoop
·消息转化器, 将接受到的消息按照某种格式进行转化,存储到另外一个系统如消息中间件
·统计分析器, 从日志或消息中,提炼出某个字段,然后做count或sum计算,最后将统计值存入外部存储器。··中间处理过程可能更复杂。
·实时推荐系统, 将推荐算法运行在jstorm中,达到秒级的推荐效果
有一篇相关文章大家可详细了解——《CentOS 6.8 实战部署JStorm集群》

那么就跟大家聊一聊

你是否使用过或正在使用JStorm?

使用的应用场景是什么?使用中的问题或是心得?

亦或是你的日志分析、管道系统、消息转化器、统计分析器是用什么技术实现的,优势与瓶颈是什么?

欢迎大家一起来聊,卫乐将在话题中与大家进行交流,对于使用反馈或忙得分享的经典回复我们将进行奖励。

参与话题

奖品区域 活动规则 已 结束

  • 奖品一

    虾米VIP季卡 x 2

  • 奖品二

    优酷VIP季卡 x 2

  • 奖品三

    阿里云代金券 x 1

21个回答

2

似水的流年 已获得阿里云代金券 复制链接去分享

jstorm反应速度快,降低了运维成本,对于处理器,内存,网络等能动态调度非常的棒,而且性能很好。

1

muji318 已获得优酷VIP季卡 复制链接去分享

1.主要用jstorm来做实时消息处理,jstorm的输入输出均为kafka,jstorm实时处理结果用于索引的实时更新。
2.相比storm,jstorm更加稳定,性能更高。
3.运维和问题排查:

    -web监控页面对于把握整体实时消息处理很方便;  
    -spout和bolt是链式连接,一个节点有问题,会影响上游下游节点。碰到问题时,要排查整条链路各节点的状态,而不是只盯着出现问题的节点;
1

豪dennis 已获得虾米VIP季卡 复制链接去分享

最爽的是Jstorm完全兼容storm的编程模型,内核全部使用Java来编写,除了内核使用Java编写这个优势之外,Jstorm对比storm在性能上也有一定的优势,此外它还提供了资源隔离和类似于Heron之类的反压力机制,所以能够更好的处理消息拥塞的这种情况

0

1298888942152031 已获得优酷VIP季卡 复制链接去分享

我觉得Jstorm对比storm在性能上也有一定的优势,此外它还提供了资源隔离和类似于Heron之类的反压力机制,所以能够更好的处理消息拥塞的这种情况。

0

浮生递归 已获得虾米VIP季卡 复制链接去分享

之前从日志里提取字段做统计分析的时候,并没有采用实时计算框架。所以稍微有点数据量,反应就非常慢,慢到半天出不来,客户也因此而非常不满意。
知道了JStorm后,可以尝试这种高效的实施计算框架。而且除了统计分析外,还有这么多高频的应用场景,优势非常明显。期待投入时候后让客户有全新的体验。客户的口碑就是我们的竞争力。感谢楼主

0

菠萝炒辣条 复制链接去分享

JStorm的tick机制,能做到整点么,比如整5分,11:00,11:05,11:10这种,或者 11:00,11:10,11:20。。。。

0

1419408332760738 复制链接去分享

有没有centos7.0部署jstorm的帖子 参考参考

0

millerwanglei 复制链接去分享

没有用过啊

0

神精病患者 复制链接去分享

我有些不明白

0

1107057349343940 复制链接去分享

是的是的,说的有理

0

1298888942152031 复制链接去分享

很好的一个活动,提升大家的积极性

0

1662788871639734 复制链接去分享

哎哟不错哦

0

1406688891241926 复制链接去分享

0

1522988881639680 复制链接去分享

怎么看评论???

0

1553788880692411 复制链接去分享

0

1426576785369071 复制链接去分享

相信阿里云可以做大做强

0

heasy 复制链接去分享

很实用

0

orchis 复制链接去分享

太卡了,网速不给了

0

1222079806192640 复制链接去分享

怎么看评论啊

0

1741371278417956 复制链接去分享

用这个在维护的时候可以随时导出需要的数据,非常棒!

2