1. 云栖社区>
  2. 全部标签>
  3. #流计算#
流计算

#流计算#

已有0人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

争分夺秒:阿里实时大数据技术全力助战双11

12月13-14日,由云栖社区与阿里巴巴技术协会共同主办的《2017阿里巴巴双11技术十二讲》顺利结束,集中为大家分享了2017双11背后的黑科技。本文是《争分夺秒:阿里实时大数据技术助战双 11》演讲整理,主要讲解了阿里巴巴实时大数据和机器学习技术,以及这些技术如何运用于阿里巴巴事业部,实现大数据升级,最终取得卓越的双11战果。

云栖社区 大数据 算法 实时系统 SQL 电商 查询优化 存储 流计算 流数据

一文教你看懂大数据的技术生态圈 Hadoop,hive,spark

一文教你看懂大数据的技术生态圈 Hadoop,hive,spark 2015-03-19MaXiaoYu 腾讯大数据 腾讯大数据 大数据本身是个很宽泛的概念,Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的。

大数据 hdfs hadoop SQL 数据处理 reduce 数据仓库 数据分析 spark Hive Mapreduce 流计算

PgSQL · 应用案例 · 海量用户实时定位和圈人-团圆社会公益系统

背景 老人、儿童是最容易走丢的人群,一定要看好老人和小孩,但是万一走丢了怎么办呢? 阿里有一个公益系统,团圆,这个系统是用来帮助发布走丢人群信息的,公安通过发布的走丢人的照片,最后一次的位置信息,向社会发布。

PostgreSQL postgres 函数 性能 random 数据库 pos 索引 Create 流计算

日志服务Flink Connector《支持Exactly Once》

Flink log connector是阿里云日志服务推出的,用于对接Flink的工具,包含两块,分别是消费者和生产者,消费者用于从日志服务中读数据,支持exactly once语义,生产者用于将数据写到日志服务中,该Connector隐藏了日志服务的一些概念,比如Shard的分裂合并等,用户在使用时只需要专注在自己的业务逻辑即可。

日志 日志服务 SLS LOG aliyun string static Consumer PUT html 流计算 flink

PgSQL · 应用案例 · HTAP视角,数据与计算的生态融合

背景 随着技术的普及,越来越多以前需要很高的成本才能获取的数据,现在触手可及。 1. 点云(点的位置坐标+RGB+其他属性),以前只有军用领域在使用,比如《普罗米修斯》这部电影,通过一些小的飞行器(点云传感器设备)飞入未知的通道后,传回获取的点云数据,从而构建通道的全系影像。

编程语言 PostgreSQL 函数 数据库 索引 static 编程 CPU html GPU 数据类型 流计算

Apache RocketMQ 深圳沙龙报名开启!

Apache RocketMQ深圳沙龙报名正式开启。12月16日,Apache RocketMQ将在深圳举办线下沙龙!届时,社区里的PMC Member、Committer、深度用户,来自各路的资深专家汇聚一堂,就分布式消息引擎的最佳实践、性能优化、流计算集成、开源大数据生态和 OpenMessaging 规范等,为大家带来一场技术上的饕餮盛宴,促进消息领域与社区的进一步发展。

分布式 性能优化 Apache 开源 阿里中间件 开源大数据 流计算 RocketMQ Aliware OpenMessaging

快递更快了!双11传统物流企业与阿里云的“云端智能”

一组相关数据,今年双11共产生8.12亿个物流订单。其中,全网第一单包裹只用12分18秒就送达,进口第一单33分15秒送达,农村第一单69分50秒送达。双11当天共发送3.66亿个订单,第1亿个订单送达仅需要2.8天,比起去年提前0.7天。

分布式 算法 监控 物流行业 集群 流计算 MaxCompute 图像识别

10分钟精通Nginx访问日志分析统计

个人站长如何分析自己的网站,这里有第一手的经验

nginx 服务器 日志 LOG 离线计算 Access 流计算 日志分析

11月28日云栖精选夜读:阿里巴巴正式开源其自研容器技术Pouch

继重启维护Dubbo后,阿里技术在开源方面的动态不断,在中国开源年会上,阿里巴巴又正式开源了其自研容器技术Pouch。

ios 大数据 java 数据库 容器 多线程 数据库设计 流计算

如何将个性化需求变成大数据解决方案

大数据的技术日新月异,解决了很多传统的方法所无法解决的问题,为软件实现上提供了新思路。目前已经有很多企业已经基于大数据的相关技术已经搭建了很多系统。 在系统的搭建过程中,需要解决一个的问题:“我的这个需求,用大数据的技术如何实现”。

大数据 架构 流式计算 解决方案 物联网 流计算 图像识别 技术架构 技术方案

11月27日云栖精选夜读:阿里毕玄:智能时代,运维工程师在谈什么?

智能化运维的终极目标,就是将运维人员从繁琐的工作中解放出来,提高整体运维效率,降低运维成本,实现业务系统的高可用性。 目前业界真正的智能化运维的落地实践其实并不多,大多还是停留在自动化甚至人工化阶段,然而智能化运维是大势所趋。

大数据 c++ 云服务器 高可用 数据库 安全组 容器 测试 scala 流计算 MaxCompute

11月24日云栖精选夜读:如何打造千万级Feed流系统?阿里数据库技术解读

2017年的双十一又一次刷新了记录,交易创建峰值32.5万笔/秒、支付峰值25.6万笔/秒。而这样的交易和支付等记录,都会形成实时订单Feed数据流,汇入数据运营平台的主动服务系统中去。数据运营平台的主动服务,根据这些合并后的数据,实时的进行分析,进行实时的舆情展示,实时的找出需要主动服务的对象等,实现一个智能化的服务运营平台。

大数据 安全 云栖大会 数据库 人工智能 数据流 微服务 测试 scala 运营 流计算

PostgreSQL 流式统计 - insert on conflict 实现 流式 UV(distinct), min, max, avg, sum, count ...

标签 PostgreSQL , 流式统计 , insert on conflict , count , avg , min , max , sum 背景 流式统计count, avg, min, max, sum等是一个比较有意思的场景,可用于实时大屏,实时绘制统计图表。

数据存储与数据库 PostgreSQL postgres 性能 random 性能测试 test 分区表 Create update 流计算

11月23日云栖精选夜读:阿里AI Labs王刚解读9小时卖出百万台的“天猫精灵” | 高山大学(GASA)

11月14日的高山大学(GASA)思享课II期,阿里巴巴人工智能实验室首席科学家王刚教授为在场学员解读了“天猫精灵”这款产品以及阿里巴巴在人机交互上的突破,同时还就商业变现、与阿里生态系统的衔接、用户体验、语音交互大规模商用、竞争与合作等方面的问题,与学员们进行了深入的交流。

大数据 算法 云栖大会 云服务器 人工智能 用户体验 数据安全 c# 物联网 云平台 存储 流计算 大数据分析 舆情分析

11月22日云栖精选夜读:双11享Go了吗?2017阿里双11在线峰会续写科技盛宴!

历届双11,阿里以其前瞻性的视角和创新技术一直致力于为大众递交诚意满满的答卷,大浪淘沙后最终沉淀下来的都是技术的烁金。12月13-14日19:30,阿里巴巴技术协会、云栖社区联合主办并独家直播的《2017阿里双11技术十二讲》将强势来袭。

云栖社区 分布式 大数据 安全 人工智能 安全平台 c# 物联网 医疗 华大基因 云平台 流计算 MaxCompute

轻松hold住双11数据洪峰背后的秘密

双11刚刚拉下帷幕,激动的心还停留在那一刻——当秒针刚跨过11号零点的一瞬间,来自线上线下的千万剁手党在第一时间涌入了这场年度大趴——从进入会场到点击详情页,再到下单付款一气呵成。 前台在大家狂欢的同时,后台数据流量也正以突破历史新高的洪峰形式急剧涌入:- 支付成功峰值达 25.

云栖社区 数据处理 流计算

SQL Server 聚合函数算法优化技巧

原文:SQL Server 聚合函数算法优化技巧 Sql server聚合函数在实际工作中应对各种需求使用的还是很广泛的,对于聚合函数的优化自然也就成为了一个重点,一个程序优化的好不好直接决定了这个程序的声明周期。

算法 监控 函数 SQL 排序 Server 索引 流计算

Flink关系型API简介

在接触关系型API之前,用户通常会采用DataStream、DataSet API来编写Flink程序,它们都提供了丰富的处理能力,以DataStream为例,它有如下这些优点: 富有表现力的流处理,包括但不限于:转换数据,更新状态,定义窗口、聚合,事件时间语义,有状态且保证正确性等; 高度自定义.

云栖社区 架构 SQL API 查询优化 流计算

11月21日云栖精选夜读:如何扛住1.8亿/秒的双11数据洪峰?阿里流计算技术全揭秘

今年的双11再次刷新了记录——支付成功峰值达25.6万笔/秒、实时数据处理峰值4.72亿条/秒。 面对较去年增幅100%的数据洪峰,流计算技术可谓功不可没。今天,我们将揭开阿里流计算技术的神秘面纱。

分布式 大数据 安全 javascript Greenplum 数据处理 人工智能 淘宝店 存储 数据存储

如何扛住1.8亿/秒的双11数据洪峰?阿里流计算技术全揭秘

今年的双11再次刷新了记录——支付成功峰值达25.6万笔/秒、实时数据处理峰值4.72亿条/秒。 面对较去年增幅100%的数据洪峰,流计算技术可谓功不可没。今天,我们将揭开阿里流计算技术的神秘面纱。

架构 性能 数据处理 配置 磁盘 存储 数据统计 流计算

9
GO