1. 云栖社区>
  2. 全部标签>
  3. #流式计算#
流式计算

#流式计算#

已有0人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

DataSimba系列之流式计算

市场变化越来越快,企业对于数据及时性的需求,也越来越大,另一方面,当下数据容量呈几何倍暴增,数据的价值在其产生之后,也将随着时间的流逝,逐渐降低。 因此,我们最好在事件发生之后,迅速对其进行有效处理,实时,快速地处理新产生的数据,帮助企业快速地进行异常管理和有效决策,而不是待数据存储在一起之后,再进行批量处理。

分布式 大数据 架构 监控 hbase 数据库 spark 流式计算 离线计算 数据采集 数据存储 流计算 海量数据 多维分析 数据中台

通过Spark SQL实时归档SLS数据

流式计算和SQL 简要介绍Spark SQL流式开发语法 实时归档SLS数据到HDFS

云栖社区 数据存储与数据库 系统研发与运维 网络与数据通信 hdfs SQL SLS 配置 spark 流式计算 离线分析 schema Create

通过Spark SQL实时归档SLS数据

我在前一篇文章介绍过基于Spark SQL实现对HDFS操作的实时监控报警。今天,我再举例说明一下如何使用Spark SQL进行流式应用的开发。

大数据 hdfs SQL SLS 配置 spark 流式计算 分布式计算 离线分析 schema Create 实时数仓

【线下活动】阿里云实时计算沙龙 · 北京站

现场体验阿里云实时计算在不同场景下最优解决方案,Flink在人脸识别等业务中的优异表现。

大数据 架构 SQL 流式计算 解决方案 流计算 Blink 人脸识别 flink 实时计算 公共云

通过WebUI查看Structured Streaming作业统计信息

从EMR-3.18.1版本开始,EMR将提供Spark Streaming SQL预览版功能。本次作为新特性的一部分,EMR将扩展现有Spark WebUI,支持Structured Streaming Query的统计信息查看。

大数据 SQL 数据处理 开源 spark 流式计算 e-mapreduce 分布式计算 EMR last input

我为什么飞行 10000 公里去西班牙参加 KubeCon?

2019 年 5 月 20 日至 23 日, 由 Cloud Native Computing Foundation (CNCF) 主办的云原生技术大会 KubeCon + CloudNativeCon  EU(欧洲场)即将在热情洋溢的巴塞罗那盛装启幕。

大数据 集群 容器 流式计算

大数据入门干货

  首先,提及大数据一词的概念。大数据本质还在于数据,但是它有着新的特征亮点。包括:数据来源广,数据格式多样化(结构化数据、非结构化数据、Excel文件、文本文件等)、数据量大(最少也是TB级别的、甚至可能是PB级别)、数据增长速度快等等。

python 分布式 大数据 架构 storm hdfs 集群 spark 流式计算 数据采集 Mapreduce 存储 数据存储

【从入门到放弃-Hadoop】Hadoop基础学习

前言 目前人工智能和大数据火热,使用的场景也越来越广,日常开发中前端同学也逐渐接触了更多与大数据相关的开发需求。因此对大数据知识也有必要进行一些学习理解 基础概念 大数据的本质 一、数据的存储:分布式文件系统(分布式存储)二、数据的计算:分部署计算 基础知识 学习大数据需要具备Java知识基础及L.

分布式系统与计算 java hbase hdfs hadoop 数据库 配置 reduce Image spark 流式计算 分布式文件系统 Mapreduce

阿里巴巴为什么选择Apache Flink?

作者:王峰 整理:韩非 本文主要整理自云栖大会阿里巴巴计算平台事业部资深技术专家王峰(花名:莫问)在云栖大会‘开发者生态峰会’上发表的演讲。 伴随着海量增长的数据,数字化时代的未来感扑面而至。

大数据 Apache 数据处理 流式计算 开源大数据 API 分布式架构 流计算 flink 实时计算

阿里巴巴,果然开始拥有“预测未来“的能力了

“大数据实时计算引擎"你可能从未听说过这个引擎,甚至在此刻之前都不知道它的存在,但你很可能早已成为这个引擎服务的一员: 一年一度的双11,无数人涌进天猫,每个人都能用 0.1 秒搜索到自己理想的商品,在智能推荐中发现适合的宝贝,背后正是依赖这个引擎; 双11庆典现场,大屏上那个跳动的总成交量数字,只是背后所有数据的冰山一角。

大数据 算法 淘宝 流式计算 flink 实时计算

实时计算在天猫双十一大屏中的应用

案例与解决方案汇总页:阿里云实时计算产品案例&解决方案汇总 本文为您介绍实时计算在天猫双十一大屏业务中的应用。 天猫双十一大屏背后最强大最核心的支持力量来自于阿里云实时计算。曾经天猫双十一大屏后台流式计算使用开源的Storm来进行开发,整个开发时间长达一个月。

storm 数据可视化 日志 数据库 数据流 流式计算 解决方案 数据采集

一个合格的阿里云大数据程序员要学习哪些技术,才算合格的

项目有大年夜大年夜有小,越大年夜大年夜的项目触及到常识点也就越多;2019年将是这些领域取得长足进步的一年。我是一个大数据程序员,建了一个大数据资源共享群199427210 每天分享大数据学习资料和学习方法 ,让我们在2019年一起成长.

编程语言 系统研发与运维 linux 互联网产品及应用 大数据 安全 算法 服务器 程序员 Image 流式计算 资源共享 大数据开发 大数据学习 大数据入门

实时计算最佳实践:基于表格存储和Blink的大数据实时计算

表格存储是阿里云自研的NoSQL多模型数据库,提供PB级结构化数据存储、千万TPS以及毫秒级延迟的服务能力。在实时计算场景里,表格存储强大的写入能力和多模型的存储形态,使其不仅可以作为计算结果表,同时也完全具备作为实时计算源表的能力。

架构 分布式系统与计算 消息队列 性能 SQL 阿里技术协会 数据库 流式计算 aliyun 表格存储 varchar 存储 流计算 Blink

阿里云发布边缘节点服务2.0,建立“融合、开放、联动”的边缘计算新形态

“5G时代,边缘计算将发挥更大价值。”阿里云边缘计算技术负责人杨敬宇表示,边缘计算作为5G时代的一项关键技术,未来将成为不可或缺的基础设施之一。那么云的能力是如何深入每个计算场景的?用户如何享受技术红利?阿里云ENS从1.0到2.0时代又完成了怎样的升级蜕变?在刚刚落幕的阿里云峰会北京站-边缘计算专场中,杨敬宇对以上问题做了解答。

架构 飞天 云计算 基础设施 容器 Image 流式计算 云服务 IDC 运营商 边缘计算

德哥PG系列课程直播(第14讲):PostgreSQL 数据清洗、采样、脱敏、批处理、合并

知识点 知识点:数据清洗、去重、采样、脱敏、批处理、合并 学习资料 1、PostgreSQL 数据采样与脱敏标签:PostgreSQL , 采样 , 脱敏PostgreSQL 巧妙的数据采样方法 2、PostgreSQL 数据去重大法标签:PostgreSQL , 去重 , 单列去重 , 多列去重.

云栖社区 PostgreSQL 钉钉 流式计算 aliyun 沙箱 物联网 并行计算 数组 数据应用 多维分析

12
GO