作者: 祝威廉 3413人浏览 评论数：0 6年前

准备工作 下载Spark 1.6.2 下载StreamingPro 我们假设你下载的StreamingPro包在/tmp目录下。 复制如下模板 { "esToCsv": { "desc": "测试", "strategy": "streaming.core.s

阅读全文

作者: 祝威廉 1957人浏览 评论数：0 6年前

Declarative workflows for building Spark Streaming Spark Streaming Spark Streaming is an extension of the core Spark API that enab

阅读全文

作者: 祝威廉 2794人浏览 评论数：0 5年前

前言 之前已经写过一篇文章，StreamingPro 支持Spark Structured Streaming，不过当时只是玩票性质的，因为对Spark 2.0+ 版本其实也只是尝试性质的,重点还是放在了spark 1.6 系列的。不过时间在推移，Spark

阅读全文

作者: 祝威廉 1736人浏览 评论数：0 5年前

前言 前些天可以让批处理的配置变得更优雅StreamingPro 支持多输入，多输出配置，现在流式计算也支持相同的配置方式了。 另外未来等另外一个项目稳定，会释放出来配合StreamingPro使用，它可以让你很方便的读写HBase,比如可以为HBase 表

阅读全文

作者: 祝威廉 1588人浏览 评论数：0 5年前

前言 Structured Streaming 的文章参考这里： Spark 2.0 Structured Streaming 分析。2.0的时候只是把架子搭建起来了，当时也只支持FileSource(监控目录增量文件)，到2.0.2后支持Kafka了，也就进

阅读全文

作者: 祝威廉 1560人浏览 评论数：0 5年前

前言 有的时候我们只要按条处理，追求实时性而非吞吐量的时候，类似Storm的模式就比较好了。Spark 在流式处理一直缺乏改进，而Flink在流式方面做得很棒，两者高层的API也是互相借鉴，容易形成统一的感官，所以决定让StreamingPro适配Flink,

阅读全文

作者: 祝威廉 1921人浏览 评论数：0 5年前

SQL 在解析字符串方面，能力还是有限，因为支持的算子譬如substring,split等有限，且不具备复杂的流程表达能力。我们内部有个通过JSON描述的DSL引擎方便配置化解析，然而也有一定的学习时间成本。 我们当然可以通过SQL的 UDF函数等来完成字符串

阅读全文

作者: 祝威廉 4554人浏览 评论数：0 5年前

前言 CarbonData已经发布了1.0版本，变更还是很快的，这个版本已经移除了kettle了，使得部署和使用 变得很简单，而且支持1.6+ ,2.0+等多个Spark版本。 StreamingPro可以使得你很简单通过一个命令就能体验Carbondata,

阅读全文