1. 云栖社区>
  2. 全部标签>
  3. #流计算#
流计算

#流计算#

已有0人关注此标签

内容分类:
博客 | 问答 | 视频 |

日处理20亿数据,实时用户行为服务系统架构实践

携程实时用户行为服务作为基础服务,目前普遍应用在多个场景中,比如猜你喜欢(携程的推荐系统)、动态广告、用户画像、浏览历史等等。 以猜你喜欢为例,猜你喜欢为应用内用户提供潜在选项,提高成交效率。旅行是一项综合性的需求,用户往往需要不止一个产品。

分布式 redis 架构 java storm mysql 性能 HTTPS 模块 数据处理 集群 流量 流计算 分布式缓存

万亿级数据洪峰下的分布式消息引擎

在首届阿里巴巴中间件峰会上,来自阿里的中间件架构师,Apache RocketMQ创始人冯嘉分享了《万亿级数据洪峰下的分布式消息引擎》。他主要从阿里消息引擎家族史、消息引擎面临的挑战,未来展望三个方面进行了分享。

分布式 大数据 架构 高可用 阿里巴巴 微服务 中间件 同步 磁盘 存储 流计算 分布式消息引擎 熔断机制 开源HA机制

开发漫谈:S4不是F4 分布式流计算应用广

S4是什么鬼?不是F4才风靡全国吗? 殊不知,这S4在IT圈早已经是炙手可热的存在,受欢迎程度绝不亚于当年的F4。好吧,其实不能这么比。 S4的出现还要归功于互联网的快速发展,从最初的web1.0时代,到后来的web2.0时代,再到ego net,可以说数据量在呈指数级不断上升。

分布式 大数据 web 分布式架构 Mapreduce 流计算 流数据

选型攻略:高清监控系统的交换机

网络监控系统在我国的安防中占据了绝对的位置,在高清网络视频监控系统中,经常有客户反馈画面延时、卡顿等现象,造成这种现象的原因有很多,但大多数情况下还是交换机的配置不够合理,导致带宽不足造成的。交换机是整个系统不可缺少的设备,它是否正确配置直接影响网络监控系统后期的稳定性。

架构 监控 性能 配置 网络监控 带宽 流计算

大数据阿里云产品的简单介绍理解

   很多人问,大数据是什么。一个时尚的技术名词,一个互联网时代的标志。给人高端大气上档次的感觉,很多公司不说自己有大数据都不好意思跟别人谈业务。那我就谈谈我的一些看法来结合阿里云的数加大数据产品比较粗俗的介绍下大数据到底是什么。

云栖社区 大数据 算法 飞天 阿里云 服务器 日志 报表 Excel 存储 流计算 概念 MaxCompute 海量数据 云计算介绍

Gartner副总裁:你应该知道的十大新兴物联网技术

Gartner副总裁、著名分析师Nick Jones说,物联网将需要许多公司目前还没有掌握的广泛新技术与技能。在谈论物联网领域,一个反复出现的主题是技术、服务以及提供这些技术和服务的供应商还不成熟。对那些探索物联网的组织来说,完善这些不成熟和避免这种不成熟带来的风险将是一个关键性的挑战。

安全 架构 监控 加密 操作系统 物联网 编程 流计算

贷款、天使投资(风控助手)业务数据库设计 - 阿里云RDS PostgreSQL, HybridDB for PostgreSQL最佳实践

标签 PostgreSQL , HybridDB for PostgreSQL , 小微贷款 , 金融风控 , 企业图谱 , 图式搜索 , 舆情分析 , 自动贷款 , 贷款审查 , 审查神器 背景 贷款是银行的主营业务之一,但是并不是只有银行能提供贷款,实际上资金雄厚的公司都有能力提供贷款(比如保险行业、资源垄断型企业等)。

数据存储与数据库 PostgreSQL 阿里云 RDS 性能 random 高可用 数据库 测试 test Create 存储 数据库设计 流计算

基于阿里云生态构建网聚宝业务监控系统

本文将为大家带来网聚宝在业务监控系统中,如何玩转阿里云生态链,构建我们的项目异常监控信息收集。我们使用阿里云数加流计算(Ali Stream)为核心中枢,上下游使用到 阿里云日志服务(SLS) 、 消息队列(ONS) 、阿里云数据库(RDS) 这些产品。

架构 监控 阿里云 ONS 日志 LOG 模块 配置 数加 string 编程 流计算

云端流计算、在线业务、实时分析 闭环设计 - 阿里云RDS、HybridDB for PostgreSQL最佳实践

背景 水的流动汇成江河大海,孕育生命,形成大自然生态。数据流动,推进社会进步,拓展业务边界。 《从人类河流文明 洞察 数据流动的重要性》 以某淘系业务案例展开,看看用户如何利用阿里云RDS PostgreSQL,HybridDB for PostgreSQL,海量对象存储OSS,打造一个从流计算到在线业务,再到数据分析和挖掘的业务,发挥数据的价值,拓展业务的边界。

数据存储与数据库 PostgreSQL 消息队列 阿里云 OSS RDS 性能 数据库 高并发 对象存储 分析型数据库 云服务 数据节点 插件 流计算

阿里云大数据利器之-使用sql实现流计算做实时展现业务( flume故障转移版 )

实时业务处理的需求越来越多,也有各种处理方案,比如storm,spark等都可以。那以数据流的方向可以总结成数据源-数据搜集-缓存队列-实时处理计算-数据展现。本文就用阿里云产品简单实现了一个实时处理的方案。

云栖社区 大数据 SQL 配置 agent 控制台 aliyun 脚本 数据采集 流计算 实时计算 MaxCompute最佳实践 实时报表 实时展现

阿里云大数据利器之-使用flume+sql实现流计算做实时展现业务(归档Maxcompute)

实时业务处理的需求越来越多,也有各种处理方案,比如storm,spark等都可以。那以数据流的方向可以总结成数据源-数据搜集-缓存队列-实时处理计算-数据展现。本文就用阿里云产品简单实现了一个实时处理的方案。

云栖社区 大数据 阿里云 HTTPS SQL 控制台 脚本 流计算 实时处理 实时计算 实时报表 实时大屏

业务实时监控服务(ARMS)征文活动

ARMS面向全部ARMS用户发起征文活动,为了向更多的人宣传您的业务,打造您的品牌,同时也为了帮助其他的ARMS用户更好地使用ARMS。

云栖社区 监控 阿里云 HTTPS 中间件 aliyun 流计算 监控服务 ARMS 业务实时监控 互联网中间件 监控产品

两年内必火的10项顶级物联网技术

高德纳(Gartner)公司预测,2025年,低耗能、短距离网络将成为物联网无线连接的主流,使用数量将远超广域物联网网络。 采用这项技术,且希望发挥这项技术最大优势的企业,需增加培训方面的资金投入。 高德纳研究指出的物联网科技前10强,快速了解用户最关心的10大物联网技术。

安全 操作系统 多线程 物联网 数据结构 流计算

Apache Kylin发布新版流处理引擎

Apache Kylin在 1.5.0 推出了从流数据进行准实时(Near Real Time)处理功能,可以直接从Apache Kafka的主题(Topic)中消费数据来构建Cube。Apache Kylin 1.

Apache 测试 API 并行计算 REST 流计算 kylin 大数据分析 流数据

用BPM策略对遗留应用现代化

用BPM策略对应用进行现代化的可行性如何?Tom Nolle用批判的眼光进行了审视,并且对如何有效使用它提供了一个分步骤的解释。 一些人提议把业务流程管理作为应用现代化的手段之一,但也有人对此提出质疑,但采用BPM策略可以成为现代化遗留应用的明智方式。

架构 中间件 BPM 流计算 工作流

网关平台架构分享

#概述 由于物种起源、历史变革等不可控因素,我们的后端服务有A、B平台之分。A平台开发之初,对外出口就设定在网关上,一直被叫做A网关。B平台的架构大致是,后端各个业务系统,服务治理、RPC,使用dubbox,对外有两个web 服务层应用(controller层),分别对应车机和手机端入口,通过注册中心获取各个业务服务提供者信息,rpc调用之。

架构 java 线程 阿里技术协会 配置 平台架构 微服务 测试 负载均衡 API 流计算

人类河流文明 - 数据的流动与生态的重要性

背景 人类社会文明源起于河流文化,人类社会发展积淀河流文化,河流文化生命推动社会发展。 河流文化作为一种人类的文化、文明类型,被人们认知已经经历了很长的历史时期,人们把其称为“大河文明”,尼罗河、幼发拉底河、和底格里斯河流域的两河文明、印度河文明、黄河文明。

数据存储与数据库 PostgreSQL 阿里云 OSS 数据库 索引 流计算

《Storm分布式实时计算模式》——导读

前  言 目前对信息高时效性、可操作性的需求不断增长,这要求软件系统在更少的时间内能处理更多的数据。随着可连接设备数量不断增加,以及在众多行业领域广泛应用,这种信息需求已无处不在。传统企业的运营系统被迫处理原先只有互联网企业才会遇到的大规模数据。

分布式 大数据 storm HTTPS 数据处理 数据流 基础设施 配置 集群 aliyun 分布式计算 运营 离线分析 传统企业 流计算

《Storm企业级应用:实战、运维和调优》——1.1 什么是实时流计算

本节书摘来自华章计算机《Storm企业级应用:实战、运维和调优》一书中的第1章,第1.1节,作者:马延辉 陈书美 雷葆华著, 更多章节内容可以访问云栖社区“华章计算机”公众号查看。 1.1 什么是实时流计算 所谓实时流计算,就是近几年由于数据得到广泛应用之后,在数据持久性建模不满足现状的情况下,急需数据流的瞬时建模或者计算处理。

分布式 架构 storm hbase 数据库 数据流 集群 Jstorm 存储 流计算

《Storm企业级应用:实战、运维和调优》——第1章 认识Storm

本节书摘来自华章计算机《Storm企业级应用:实战、运维和调优》一书中的第1章,作者:马延辉 陈书美 雷葆华著, 更多章节内容可以访问云栖社区“华章计算机”公众号查看。 第1章 认识Storm 本章通过介绍实时流来引出Storm,随后介绍Storm的概念、发展历史、发行版本和基本特性。

云栖社区 架构 storm 数据流 Mapreduce 流计算

5
GO