1. 云栖社区>
  2. 全部标签>
  3. #Blink#
Blink

#Blink#

已有5人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

Blink 有何特别之处?菜鸟供应链场景最佳实践

> 作者:晨笙、缘桥 菜鸟供应链业务链路长、节点多、实体多,使得技术团队在建设供应链实时数仓的过程中,面临着诸多挑战,如:如何实现实时变Key统计?如何实现实时超时统计?如何进行有效地资源优化?如何提升多实时流关联效率?如何提升实时作业的开发效率? 而 Blink 能否解决这些问题?下面一起来深入了解。 ## 背景 菜鸟从2017年4月开始探索 Blink(即 Apache

大数据 最佳实践 性能 阿里技术协会 配置 Blink flink 实时计算

【线下活动】阿里云实时计算沙龙 · 北京站

现场体验阿里云实时计算在不同场景下最优解决方案,Flink在人脸识别等业务中的优异表现。

大数据 架构 SQL 流式计算 解决方案 流计算 Blink 人脸识别 flink 实时计算 公共云

Lambda plus: 云上大数据解决方案

本文会简述大数据分析场景需要解决的技术挑战,讨论目前主流大数据架构模式及其发展。最后我们将介绍如何结合云上存储、计算组件,实现更优的通用大数据架构模式,以及该模式可以涵盖的典型数据处理场景。 ### 大数据处理的挑战 现在已经有越来越多的行业和技术领域需求大数据分析系统,例如金融行业需要...

数据存储与数据库 大数据 架构 分布式系统与计算 TableStore 阿里技术协会 Image 数据分析 解决方案 索引 表格存储 存储 view lambda Blink

Lambda plus: 云上大数据解决方案

本文会简述大数据分析场景需要解决的技术挑战,讨论目前主流大数据架构模式及其发展。最后我们将介绍如何结合云上存储、计算组件,实现更优的通用大数据架构模式,以及该模式可以涵盖的典型数据处理场景。 大数据处理的挑战 现在已经有越来越多的行业和技术领域需求大数据分析系统,例如金融行业需要使用大数据系统结合VaR(value at risk)或者机器学习方案进行信贷风控,零售、餐饮行业需要大数据系统实现辅助销售决策,各种IOT场景需要大数据系统持续聚合和分析时序数据,各大科技公司需要建立大数据分析中台等等。

大数据 架构 aliyun 解决方案 索引 表格存储 存储 view 流计算 lambda Blink flink 大数据架构 Kappa 批计算

实时计算最佳实践:基于表格存储和Blink的大数据实时计算

表格存储是阿里云自研的NoSQL多模型数据库,提供PB级结构化数据存储、千万TPS以及毫秒级延迟的服务能力。在实时计算场景里,表格存储强大的写入能力和多模型的存储形态,使其不仅可以作为计算结果表,同时也完全具备作为实时计算源表的能力。

架构 分布式系统与计算 消息队列 性能 SQL 阿里技术协会 数据库 流式计算 aliyun 表格存储 varchar 存储 流计算 Blink

大数据同步利器: 表格存储全增量一体消费通道

本文会给大家详细介绍表格存储重磅推出的一项新功能--全增量一体数据通道。文章会为大家阐述数据通道的主要使用场景,表格存储数据通道的功能优势,并带大家快速入门如何使用数据通道来消费数据。本文会给大家详细介绍表格存储重磅推出的一项新功能--全增量一体数据通道。

大数据 监控 TableStore 数据迁移 ots 数据同步 表格存储 海量数据 Blink 实时计算 数据通道 大数据分析系统 TunnelService 海量数据存储

Flink入坑指南第五章 - 语法糖 view

Flink入坑指南系列文章,从实际例子入手,一步步引导用户零基础入门实时计算/Flink,并成长为使用Flink的高阶用户。本文属个人原创,仅做技术交流之用,笔者才疏学浅,如有错误,欢迎指正。 什么是view(视图):视图无非就是存储在数据库中并具有名字的 SQL 语句,或者说是以预定义的 SQL 查询的形式存在的数据表的成分。

hadoop SQL spark aliyun IP stream Create html type varchar view Blink bigdata flink Streaming

阿里巴巴,果然开始拥有“预测未来”的能力了

文 | 史中 顶灯闪烁,笛声响彻。 救护车载着病人,冲向茫茫车海,在时间的赛道上狂奔。 高德地图、GPS 卫星导航、路面磁感线圈、1300 个路口摄像头同时开动,为这辆救护车勘探最快路线; GPS 传回实时数据,后台根据辅助数据纠偏,锚定救护车每一刻的精确位置; 救护车将要经过的沿途,车辆情况被实时计算。确保路口绿灯提前亮起,在救护车通过之前,刚好所有社会车辆已经行驶一空。 这

大数据 算法 阿里技术协会 淘宝 流式计算 流计算 Blink flink 大数据动态 实时计算

How Blink Works 中文译文

Chromium 的工程师们写了两篇技术文章 [How Blink Works][1] 和 [How cc Works][2],分别介绍了 Chrome 浏览器内核内部的两个重要模块 Blink 和 cc 内部设计和实现的一些细节。对于想要了解 Chrome 内核内部实现的同学,这两篇文章提供了不错的入门指引。在征得作者同意后,我将其翻译成中文,以馈读者。 文中部分术语觉得难以翻译成合适的中

架构 javascript 线程 c++ 阿里技术协会 脚本 Core Blink 浏览器内核 网页渲染

LogHub新增公网IP/服务端到达时间标签

日志服务LogHub功能新增加了两种默认标签:日志写入客户端的公网IP地址和服务端接受日志的时间。客户端公网IP可以用于统计客户端的位置分布。服务端到达时间可以统计日志的实际到达服务端的时间。

云栖社区 移动开发与客户端 java 监控 storm 日志 日志服务 SLS sdk IP 流计算 日志分析 Blink loghub 消费组

Hawkeye:TopN慢query的获取与优化

之前的文章介绍了Hawkeye的底层分析系统(待补充文章),其中讲到了基于Blink的Batch任务实现方法,前段时间在优化慢query查询的过程中开发了应用TopN慢query获取的分析任务,其中用到的分析方法适用于其他类似求TopN的问题中。

Java核心技术 性能 插件 查询优化 大数据分析 Blink hawkeye TopN问题

Flink SQL 功能解密系列 —— 流式 TopN 挑战与实现

TopN 是统计报表和大屏非常常见的功能,主要用来实时计算排行榜。流式的 TopN 不同于批处理的 TopN,它的特点是持续的在内存中按照某个统计指标(如出现次数)计算 TopN 排行榜,然后当排行榜发生变化时,发出更新后的排行榜。

函数 SQL 排序 BY 流计算 Blink flink FlinkSQL

实时计算 Flink SQL 核心功能解密

Flink SQL 是于2017年7月开始面向集团开放流计算服务的。虽然是一个非常年轻的产品,但是到双11期间已经支撑了数千个作业,在双11期间,Blink 作业的处理峰值达到了5+亿每秒,而其中仅 Flink SQL 作业的处理总峰值就达到了3亿/秒。

性能 SQL 数据流 API 流计算 Blink flink

Flink SQL 功能解密系列 —— 阿里云流计算/Blink支持的connectors

Connector 是连接外部数据和blink计算框架的桥梁,也是流计算的入口和出口。目前,blink支持了集团内部绝大多数的上下游(如下图),详细的接入方法可以见官方文档,本文主要阐述connector设计和使用上需要注意的问题。

hbase SQL 日志 metaq 插件 source varchar 存储 数据类型 流计算 Blink flink

Flink SQL 功能解密系列 —— 流计算“撤回(Retraction)”案例分析

通俗讲retract就是传统数据里面的更新操作,也就是说retract是流式计算场景下对数据更新的处理方式。

SQL Create varchar 流计算 Blink flink 实时计算

Flink SQL 功能解密系列 —— 维表 JOIN 与异步优化

流计算中一个常见的需求就是为数据流补齐字段。因为数据采集端采集到的数据往往比较有限,在做数据分析之前,就要先将所需的维度信息补全。比如采集到的交易日志中只记录了商品 id,但是在做业务时需要根据店铺维度或者行业纬度进行聚合,这就需要先将交易日志与商品维表进行关联,补全所需的维度信息。

性能 SQL 数据库 数据流 Cache 流计算 Blink flink 实时流计算

Flink SQL 功能解密系列 —— 数据去重的技巧和思考

去重逻辑在业务处理中使用广泛,大致可以分两类:DISTINCT去重和FIRST_VALUE主键去重,两者的区别是DISTINCT去重是对整行数据进行去重,比如tt里面数据可能会有重复,我们要去掉重复的数据;FIRST_VALUE是根据主键进行去重,可以看成是一种业务层面的去重,但是真实的业务场景使用也很普遍,比如一个用户有多次点击,业务上只需要取第一条。

SQL Create type Group varchar 流计算 Blink

分布式Snapshot和Flink Checkpointing简介

最近在学习Flink的Fault Tolerance,了解到Flink在Chandy Lamport Algorithm的基础上扩展实现了一套分布式Checkpointing机制,这个机制在论文"Lightweight Asynchronous Snapshots for Distributed Dataflows"中进行了详尽的描述。

分布式 算法 Algorithm 流式计算 分布式系统 input Blink 实时计算

2
GO