1. 云栖社区>
  2. 全部标签>
  3. #流数据#
流数据

#流数据#

已有0人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

什么是物联网数据分析?

物联网数据分析LA(Link Analytics)是阿里云为物联网开发者提供的设备智能分析服务,全链路覆盖了设备数据采集、管理(存储)、清洗、分析等环节,有效降低了数据分析门槛,实现了设备数据与业务数据的融合分析透视。

监控 数据可视化 配置 数据分析 aliyun 数据大屏 物联网 流数据

AI 时代,还不了解大数据?

如果要问最近几年,IT行业哪个技术方向最火?一定属于ABC,即AI + Big Data + Cloud,也就是人工智能、大数据和云计算。

分布式 大数据 架构 hbase hdfs hadoop 数据库 数据仓库 Image 数据分析 google 存储 数据存储 流数据

助力“新基建” | 基于StreamWorks构建实时大数据处理平台

导语 2020年春节期间,一场突如其来的疫情在全国蔓延开来,打破了大家原有的工作生活节奏。疫情期间,大家宅在家就能随时看到实时的大数据疫情地图,可以随时刷到自己当前感兴趣的抖音视频,这一切背后依赖的最重要的技术,就是实时大数据处理技术。

大数据 数据库 数据流 数据分析 袋鼠云 同步 流式计算 url 离线计算 数据采集 数据存储 推荐系统 流数据

ASP.NET Core WEB API 使用element-ui文件上传组件el-upload执行手动文件文件,并在文件上传后清空文件

ASP.NET Core WEB API 使用element-ui文件上传组件el-upload执行手动文件文件,并在文件上传后清空文件 目录导航: 前言: 一、简单概述el-upload文件上传组件: el-upload组件详情,查看官方解释: 常用的基本属性: 二、需要实现的效果:  三、...

web API string asp Core class file 流数据

日均万亿条数据如何处理?爱奇艺实时计算平台这样做

本文由爱奇艺大数据服务负责人梁建煌分享,介绍爱奇艺如何基于 Apache Flink 技术打造实时计算平台,并通过业务应用案例分享帮助用户了解 Apache Flink 的技术特点及应用场景。

深度学习 大数据 监控 数据处理 配置 数据分析 spark 报表 数据采集 流计算 flink 实时计算 流数据 数据平台

最新消息!Cloudera 全球发行版正式集成 Apache Flink

近期 Cloudera Hadoop 大神 Arun 在 Twitter 上宣布 Cloudera Data Platform 正式集成了 Flink 作为其流计算产品,Apache Flink PMC Chair Stephan 也回应:“此举意义重大。

大数据 Apache 数据处理 数据流 集群 流计算 cloudera flink 实时计算 流数据

阿里云物联网平台数据分析API调用

物联网数据分析,又称Link Analytics,是阿里云为物联网开发者提供的设备智能分析服务,全链路覆盖了设备数据生成、管理(存储)、清洗、分析及可视化等环节。有效降低数据分析门槛,助力物联网开发工作。

云栖社区 数据可视化 request 数据分析 aliyun API string 物联网 数据存储 数据管理 流数据

Flink Weekly | 每周社区更新-12/24

本期的主要内容包括:发布 Flink 1.10 和 Flink 1.9.2 的更新,关于将 Flink Docker image 发布集成到 Flink 发布过程中的讨论,PyFlink 后期新功能的讨论以及一些博客文章。

大数据 docker Apache 配置 html 流计算 批处理 flink 流数据

Lyft 基于 Flink 的大规模准实时数据分析平台(附FFA大会视频)

如何基于 Flink 搭建大规模准实时数据分析平台?在 Flink Forward Asia 2019 上,来自 Lyft 公司实时数据平台的徐赢博士和计算数据平台的高立博士分享了 Lyft 基于 Apache Flink 的大规模准实时数据分析平台。

大数据 架构 etl 性能 数据流 平台架构 数据分析 schema 存储 流计算 flink 实时计算 流数据

Flink 实战:如何解决生产环境中的技术难题?

Apache Flink 作为业界公认为最好的流计算引擎,不仅仅局限于做流处理,而是一套兼具流、批、机器学习等多种计算功能的大数据引擎,以其高吞吐低延时的优异实时计算能力、支持海量数据的亚秒级快速响应帮助企业和开发者实现数据算力升级,并成为阿里、腾讯、滴滴、美团、字节跳动、Netflix、Lyft 等国内外知名公司建设实时计算平台的首选。

分布式 大数据 监控 运维 SQL Apache 培训 流计算 部署 调优 flink 流数据

Flink最佳实践(一)流式计算系统概述

前言 传统的批处理拥有巨大 吞吐量 的优势,但是随之而来的是极其 高延迟 的缺陷。 随着大数据系统的不断发展,传统的批处理已然无法全部满足对 时效性 要求愈加严苛的业务需求。 为了适应逐渐变得 「实时」 的年代,大数据系统架构也由简单的批处理转向批流混合的Lambda架构,最后可能会逐渐演变成只有流计算的 高精准高时效 的Kappa架构。

数据流 流式计算 流计算 flink 流数据

FlinkX—批流统一的高效数据同步插件

什么是FlinkX? FlinkX是一款基于Flink的分布式离线/实时数据同步插件,可实现多种异构数据源高效的数据同步,其由袋鼠云于2016年初步研发完成,目前有稳定的研发团队持续维护,已在Github上开源(开源地址详见文章末尾)。

大数据 Greenplum Oceanbase 数据库 配置 集群 袋鼠云 同步 离线计算 数据同步 插件 异构数据 存储 流数据 FlinkX

Streamworks,基于扩展FlinkSQL实现流计算的源表导入、维表关联与结果表导出

Streamworks,袋鼠云基于SQL的流计算开发平台,其通过扩展FlinkSQL,实现FlinkSQL与界面化配置映射结合的方式,完成Kafka源数据的读入,并支持流数据与Mysql/Oracle/MongDB等数据源进行维表关联,将最终结果数据导出至Hbase/ES/Greenplum/Oracle/OceanBase等目标数据库,进行一站式的流数据开发。

PostgreSQL mysql Oracle SQL 数据分析 袋鼠云 数据同步 插件 Create type varchar 流计算 流数据 FlinkX

流式计算领域新霸主Flink的那些事儿

很多人是在2015年才听到Flink这个词的,其实早在2008年,Flink的前身就已经是柏林理工大学的一个研究性项目

编程语言 大数据 storm SQL 数据处理 数据分析 spark 流式计算 API 实时数据处理 离线数据处理 流数据 DataStream flinkml

探寻流式计算

流计算的出现拓宽了应对复杂实时计算需求能力。Storm作为流计算的利器,极大方便了应用。

分布式 大数据 storm 性能 数据处理 数据流 数据仓库 集群 流式计算 html 存储 数据存储 流计算 流数据

基于Knox登录Yarn UI查看SparkStreaming作业兼容性问题说明

问题背景 1.登录EMR集群节点,运行SparkStreaming示例,如下所示(不同版本EMR集群spark-examples_xxx.jar的路径略有差异): [root@emr-header-1 ~]# spark-submit --class org.

配置 安全组 集群 SSH Image spark google EMR test 兼容性 chrome 流数据

Apache Carbondata接入Kafka实时流数据

1.导入carbondata依赖的jar包 将apache-carbondata-1.5.3-bin-spark2.3.2-hadoop2.7.2.jar导入$SPARKHOME/jars;或将apache-carbondata-1.

SQL Apache 配置 spark string stream Create timestamp source 数据存储 kafka 流数据 carbondata

Apache NiFi之Kafka流数据到HBase

一.说明 在大数据平台的业务场景中,处理实时kafka数据流数据,以成为必要的能力;此篇将尝试通过Apache NiFi来接入Kafka数据然后处理后存储之HBase 二.开拔 Ⅰ).配置ConsumeKafka_0_10 测试使用了kafka0.

大数据 hbase Apache 数据流 配置 表空间 zookeeper kafka 流数据 NiFi

25
GO