1. 云栖社区>
  2. 全部标签>
  3. #离线计算#
离线计算

#离线计算#

已有0人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

浅谈分布式计算的开发与实现(二)

实时计算 接上篇,离线计算是对已经入库的数据进行计算,在查询时对批量数据进行检索、磁盘读取展示。 而实时计算是在数据产生时就对其进行计算,然后实时展示结果,一般是秒级。 举个例子来说,如果有个大型网站,要实时统计用户的搜索内容,这样就能计算出热点新闻及突发事件了。

云栖社区 编程语言 分布式 redis Java核心技术 java storm 消息队列 程序员 流式计算 分布式计算 离线计算 磁盘 后端开发

浅谈分布式计算的开发与实现(一)

介绍 分布式计算简单来说,是把一个大计算任务拆分成多个小计算任务分布到若干台机器上去计算,然后再进行结果汇总。 目的在于分析计算海量的数据,从雷达监测的海量历史信号中分析异常信号(外星文明),淘宝双十一实时计算各地区的消费习惯等。

云栖社区 编程语言 分布式 架构 java 消息队列 hdfs hadoop 程序员 配置 reduce 分布式计算 离线计算 容灾 Mapreduce

结构化数据存储,如何设计才能满足需求?

阿里妹导读:任何应用系统都离不开对数据的处理,数据也是驱动业务创新以及向智能化发展最核心的东西。数据处理的技术已经是核心竞争力。在一个完备的技术架构中,通常也会由应用系统以及数据系统构成。应用系统负责处理业务逻辑,而数据系统负责处理数据。

大数据 架构 hbase 数据库 索引 离线计算 数据同步 存储 数据存储 流计算

玩转阿里云EMR三部曲-中级篇 集成自有服务

玩转阿里云EMR三部曲-中级篇 集成自有服务 作者:邓力,entobit技术总监,八年大数据从业经历,由一代hadoop入坑,深耕云计算应用领域,由从事亚马逊EMR和阿里云EMR应用开发逐步转入大数据架构领域,对大数据生态及框架应用有深刻理解。

大数据 架构 OSS 高并发 配置 集群 spark solr aliyun 脚本 离线计算 EMR 弹性扩展

数据中台之结构化大数据存储设计

对数据系统核心组件进行拆解,介绍每个组件下对应的开源组件以及云上产品。

大数据 架构 分布式系统与计算 NOSQL TableStore hbase 数据库 索引 离线计算 数据同步 存储 数据存储 流计算

唱吧基于 MaxCompute 的大数据之路

在使用 MaxCompute之前,唱吧使用自建体系来存储处理各端收集来的日志数据,包括请求访问记录、埋点数据、服务器业务数据等。但随着每天处理数据量的增长,积累的历史数据越来越多,来自其他部门同事的需求越来越复杂,自建体系逐渐暴露出了能力上的短板。

大数据 日志 Image 同步 云服务 离线计算 数据同步 自建机房 报表 数据统计 MaxCompute QuickBI

海量数据下的舆情分析,该如何搭建?

互联网的飞速发展促进了很多新媒体的发展,不论是知名的大V,明星还是围观群众都可以通过手机在微博、朋友圈或者点评网站上发表动态,分享自己的所见所想,使得“人人都有了麦克风”。不论是热点新闻还是娱乐八卦,传播速度远超我们的想象,一则信息可以在短短数分钟内,有数万计转发,数百万的阅读。

大数据 架构 hbase 数据库 离线计算 Elasticsearch 存储 流计算 海量数据 舆情分析 舆情系统

阿里云发布敏感数据保护产品SDDP,数据贴身防护实现“外防内控”

7月10日,阿里云针对云上企业正式发布一款敏感数据保护产品SDDP(Sensitive Data Detection and Protection),该产品参考Gartner提出的DCAP框架(Data-Centric Audit and Protection,以数据为中心的审计与保护),结合了阿里云多年大数据处理技术、人工智能分析技术和数据安全运营实践,帮助客户精准识别敏感数据存储位置、多种算法组合脱敏确保数据安全可用、智能检测数据访问异常行为,实现了“外部攻击守源端、内部窃取能发现”的双重防护能力,帮助企业有效防止来自外部攻击和内部窃取导致的数据泄露。

大数据 安全 算法 数据安全 安全防护 对象存储 开发环境 离线计算 表格存储 数据存储 阿里云安全 数据泄露 数据保护 数据窃取

DataSimba系列之流式计算

市场变化越来越快,企业对于数据及时性的需求,也越来越大,另一方面,当下数据容量呈几何倍暴增,数据的价值在其产生之后,也将随着时间的流逝,逐渐降低。 因此,我们最好在事件发生之后,迅速对其进行有效处理,实时,快速地处理新产生的数据,帮助企业快速地进行异常管理和有效决策,而不是待数据存储在一起之后,再进行批量处理。

分布式 大数据 架构 监控 hbase 数据库 spark 流式计算 离线计算 数据采集 数据存储 流计算 海量数据 多维分析 数据中台

DataSimba系列之计算引擎篇

数据的爆炸式增长以及价值的扩大化,将对企业未来的发展产生深远的影响,数据将成为企业的核心资产。如何处理大数据,挖掘大数据的价值,让大数据为企业的发展保驾护航,将是未来信息技术发展道路上关注的重点。

分布式 大数据 SQL 数据处理 数据库 数据仓库 数据分析 spark 离线计算 Hive 磁盘 存储 计算引擎 数据中台

数据智能,触手可及!袋鼠云数栈推出 数据科学平台 DTinsight.Science

一句话了解DTinsight.Science DTinsight.Science是「可视化建模与交互式代码编写于一体的机器学习作业探索平台」,实现数据接入、可视化实验建模、Notebook编程、模型训练、模型部署、任务运维等开发场景,帮助企业构建算法服务能力,提供高效、安全、稳定的算法运行环境。

深度学习 大数据 算法 袋鼠云 离线计算 文本分析 关系网络

基于大数据的舆情分析系统架构 - 架构篇

# 前言 互联网的飞速发展促进了很多新媒体的发展,不论是知名的大V,明星还是围观群众都可以通过手机在微博,朋友圈或者点评网站上发表状态,分享自己的所见所想,使得“人人都有了麦克风”。不论是热点新闻还是娱乐八卦,传播速度远超我们的想象。

数据存储与数据库 大数据 架构 分布式系统与计算 java hbase 阿里技术协会 数据库 离线计算 Elasticsearch 存储 流计算 舆情分析 舆情系统 大数据架构

自动化日志收集及分析在支付宝 App 内的演进

作者:曲仁军(骁然),蚂蚁金服技术专家。本文将聚焦支付宝在移动端如何构建日志自动化采集和分析能力,从而通过“数据采集、计算、分析、决策”完成针对业务性能的监控与用户行为分析。

移动开发与客户端 大数据 架构 算法 监控 实时系统 性能 日志 离线计算 数据同步 日志处理

2019-5-12的kafka&Flink沙龙收获

kafka 大会,美团、京东大厂的kafka最佳实践经验

监控 域名 日志 集群 离线计算 容灾 性能测试 权限管理 kafka

容器服务kubernetes虚拟节点实践二:Job任务 + 虚拟节点

都说kuberntes集群的奔溃是从节点资源不够开始的,节点资源配置不足会导致pod无法及时运行,购买过多的节点又会导致资源的闲置浪费。虚拟节点就像是kubernetes集群的“魔法口袋”,让我们摆脱节点计算力不足的烦扰,也避免了节点的闲置浪费,满足“无限”计算力的想象,pod按需创建,轻松应对计算的波峰波谷。

云栖社区 集群 容器 Image 弹性计算 离线计算 perl serverless kuberntes

8
GO