1. 云栖社区>
  2. 全部标签>
  3. #流数据#
流数据

#流数据#

已有0人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

最新消息!Cloudera 全球发行版正式集成 Apache Flink

近期 Cloudera Hadoop 大神 Arun 在 Twitter 上宣布 Cloudera Data Platform 正式集成了 Flink 作为其流计算产品,Apache Flink PMC Chair Stephan 也回应:“此举意义重大。

大数据 Apache 数据处理 数据流 集群 流计算 cloudera flink 实时计算 流数据

阿里云物联网平台数据分析API调用

物联网数据分析,又称Link Analytics,是阿里云为物联网开发者提供的设备智能分析服务,全链路覆盖了设备数据生成、管理(存储)、清洗、分析及可视化等环节。有效降低数据分析门槛,助力物联网开发工作。

云栖社区 数据可视化 request 数据分析 aliyun API string 物联网 数据存储 数据管理 流数据

Flink Weekly | 每周社区更新-12/24

本期的主要内容包括:发布 Flink 1.10 和 Flink 1.9.2 的更新,关于将 Flink Docker image 发布集成到 Flink 发布过程中的讨论,PyFlink 后期新功能的讨论以及一些博客文章。

大数据 docker Apache 配置 html 流计算 批处理 flink 流数据

Lyft 基于 Flink 的大规模准实时数据分析平台(附FFA大会视频)

如何基于 Flink 搭建大规模准实时数据分析平台?在 Flink Forward Asia 2019 上,来自 Lyft 公司实时数据平台的徐赢博士和计算数据平台的高立博士分享了 Lyft 基于 Apache Flink 的大规模准实时数据分析平台。

大数据 架构 etl 性能 数据流 平台架构 数据分析 schema 存储 流计算 flink 实时计算 流数据

Flink 实战:如何解决生产环境中的技术难题?

Apache Flink 作为业界公认为最好的流计算引擎,不仅仅局限于做流处理,而是一套兼具流、批、机器学习等多种计算功能的大数据引擎,以其高吞吐低延时的优异实时计算能力、支持海量数据的亚秒级快速响应帮助企业和开发者实现数据算力升级,并成为阿里、腾讯、滴滴、美团、字节跳动、Netflix、Lyft 等国内外知名公司建设实时计算平台的首选。

分布式 大数据 监控 运维 SQL Apache 培训 流计算 部署 调优 flink 流数据

Flink最佳实践(一)流式计算系统概述

前言 传统的批处理拥有巨大 吞吐量 的优势,但是随之而来的是极其 高延迟 的缺陷。 随着大数据系统的不断发展,传统的批处理已然无法全部满足对 时效性 要求愈加严苛的业务需求。 为了适应逐渐变得 「实时」 的年代,大数据系统架构也由简单的批处理转向批流混合的Lambda架构,最后可能会逐渐演变成只有流计算的 高精准高时效 的Kappa架构。

数据流 流式计算 流计算 flink 流数据

FlinkX—批流统一的高效数据同步插件

什么是FlinkX? FlinkX是一款基于Flink的分布式离线/实时数据同步插件,可实现多种异构数据源高效的数据同步,其由袋鼠云于2016年初步研发完成,目前有稳定的研发团队持续维护,已在Github上开源(开源地址详见文章末尾)。

大数据 Greenplum Oceanbase 数据库 配置 集群 袋鼠云 同步 离线计算 数据同步 插件 异构数据 存储 流数据 FlinkX

Streamworks,基于扩展FlinkSQL实现流计算的源表导入、维表关联与结果表导出

Streamworks,袋鼠云基于SQL的流计算开发平台,其通过扩展FlinkSQL,实现FlinkSQL与界面化配置映射结合的方式,完成Kafka源数据的读入,并支持流数据与Mysql/Oracle/MongDB等数据源进行维表关联,将最终结果数据导出至Hbase/ES/Greenplum/Oracle/OceanBase等目标数据库,进行一站式的流数据开发。

PostgreSQL mysql Oracle SQL 数据分析 袋鼠云 数据同步 插件 Create type varchar 流计算 流数据 FlinkX

流式计算领域新霸主Flink的那些事儿

很多人是在2015年才听到Flink这个词的,其实早在2008年,Flink的前身就已经是柏林理工大学的一个研究性项目

编程语言 大数据 storm SQL 数据处理 数据分析 spark 流式计算 API 实时数据处理 离线数据处理 流数据 DataStream flinkml

探寻流式计算

流计算的出现拓宽了应对复杂实时计算需求能力。Storm作为流计算的利器,极大方便了应用。

分布式 大数据 storm 性能 数据处理 数据流 数据仓库 集群 流式计算 html 存储 数据存储 流计算 流数据

基于Knox登录Yarn UI查看SparkStreaming作业兼容性问题说明

问题背景 1.登录EMR集群节点,运行SparkStreaming示例,如下所示(不同版本EMR集群spark-examples_xxx.jar的路径略有差异): [root@emr-header-1 ~]# spark-submit --class org.

配置 安全组 集群 SSH Image spark google EMR test 兼容性 chrome 流数据

Apache Carbondata接入Kafka实时流数据

1.导入carbondata依赖的jar包 将apache-carbondata-1.5.3-bin-spark2.3.2-hadoop2.7.2.jar导入$SPARKHOME/jars;或将apache-carbondata-1.

SQL Apache 配置 spark string stream Create timestamp source 数据存储 kafka 流数据 carbondata

Apache NiFi之Kafka流数据到HBase

一.说明 在大数据平台的业务场景中,处理实时kafka数据流数据,以成为必要的能力;此篇将尝试通过Apache NiFi来接入Kafka数据然后处理后存储之HBase 二.开拔 Ⅰ).配置ConsumeKafka_0_10 测试使用了kafka0.

大数据 hbase Apache 数据流 配置 表空间 zookeeper kafka 流数据 NiFi

Apache Doris接入Kafka实时流数据

一.简述 Apache Doris是由百度的Palo项目开源而来,整体架构分为两层:多个 FE 组成第一层,提供 FE 的横向扩展和高可用;多个 BE 组成第二层,负责数据存储于管理。 FE 节点分为 follower 和 observer 两类。

Apache 高可用 数据库 数据同步 Create 存储 数据存储 流数据 Doris Palo

Apache Druid接入Kafka实时流数据

一.任务配置文件 使用类型为kafka { "type": "kafka", "dataSchema": { "dimensionsSpec": {... ...}, "transformSpec":{.

Json Apache 配置 表达式 type Druid kafka 流数据

【译】Spark Streaming 框架在 5G 中的应用

原文链接: Applying the Spark Streaming framework to 5G 我们已经很长时间没有更新流处理框架的相关博客(apache-storm-vs-spark-streaming 和 apache-storm-performance-tuners),这次想分享一下我们关于当前流处理引擎及其在 5G 和 IoT 场景适用性的一些观点。

云栖社区 性能 Apache spark Cassandra 电信 Blog 数据存储 流数据

Spark Streaming 框架在 5G 中的应用

在发展 5G 和 IoT 场景的准备阶段,爱立信研究了各种可扩展和灵活的流处理框架,以解决数据流水线问题以及提升整体性能。我们通过机器学习流数据进行自适应学习和智能决策从而实现各个领域的自动化。其中使用机器学习算法从流数据中逐步学习模型和获取信息是一个巨大的挑战。

nginx 编程语言 性能 Apache spark Cassandra 电信 Blog 数据存储 安全问道 流数据

25
GO