1. 云栖社区>
  2. 全部标签>
  3. #离线计算#
离线计算

#离线计算#

已有0人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

MaxCompute问答整理之12月

本文是基于本人对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文。希望对大家有所帮助。

大数据 消息队列 函数 SQL odps 问答 aliyun string 离线计算 分区表 html type 数据类型 MaxCompute

大数据平台架构设计探究

本文介绍了一些数据平台设计思路来帮助业务减少数据开发中的痛点和难点。

大数据 架构 模块 数据仓库 平台架构 离线计算 数据采集 oschina 架构设计 lambda架构 实时计算

惊魂48小时,阿里工程师如何紧急定位线上内存泄露? | 12月20号云栖号夜读

今天的首篇文章,讲述了:云计算场景下的大规模分布式系统中,网络异常、磁盘IO异常、时钟跳变、操作系统异常乃至软件本身可能存在bugs等,均给分布式系统正确运行带来了挑战。持续的监控报警完善是打造稳定高可用分布式系统过程中非常重要的工作,这个也就要求我们研发同学从细节处入手,本文将介绍的场景是针对线上报警的一丝异常,抽丝剥茧找到内存泄露的root cause,全程48小时,跟进修复了潜在风险隐患,并进一步丰富完善监控报警体系的过程。

云栖社区 大数据 架构 SQL 高可用 数据流 aliyun 离线计算 分布式系统 activity

解密淘宝推荐实战,打造 “比你还懂你” 的个性化APP

如今,推荐系统已经成为各大电商平台的重要流量入口,谁才能够做到比用户更懂用户,谁占据了新零售时代的主动权。手机淘宝的推荐更是淘宝最大的流量入口和最大的成交渠道之一,其背后是最为复杂的业务形态和最复杂的场景技术,那么究竟如何打造手淘背后的推荐系统呢?本次首席技术官大数据专享会上,阿里巴巴搜索推荐事业部资深算法专家欧文武(三桐)为大家解密了淘宝的推荐实战。

日志 个性化推荐 在线学习 Image 淘宝 序列 离线计算

跑的好好的 Java 进程,怎么突然就瘫痪了

内存回收一直是 Java的痛点 用 Java 无法做出类似 Redis 这样的产品。Java 的内存回收机制使我们在编写代码时不需要关注对象的回收,同时加大了内存回收的消耗,标记复制需要做内存拷贝,标记清除算法则需要 stop the world 。

云栖社区 java 服务器 性能 线程 系统监控 高并发 内存泄漏 离线计算 分布式系统

开发者解读:为什么蚂蚁要用融合计算这种新计算模式?

蚂蚁金服从 2018 年 7 月开始,基于最新的 Ray 分布式引擎自研了金融级的在线学习系统,与传统在线学习框架相比,在端到端延迟、稳定性、研发效率等方面都有不同程度的提高。

分布式 大数据 架构 在线学习 离线计算 容灾 流计算

阿里云祝顺民(江鹤):云原生SDWAN加速企业上云 引领未来智能网络

第二届中国SD-WAN峰会于11月16日在北京盛大开幕,阿里云以黄金赞助商之名隆重参与。作为全球前三,亚太第一的云计算厂商,阿里云一直引领云网技术的演进及应用落地。过去一年,阿里云发布以云为中心的云原生SDWAN解决方案,助力企业用户简易、快速上云。

算法 负载均衡 解决方案 云服务 离线计算 大数据分析 海量数据 公共云

FlinkX—批流统一的高效数据同步插件

什么是FlinkX? FlinkX是一款基于Flink的分布式离线/实时数据同步插件,可实现多种异构数据源高效的数据同步,其由袋鼠云于2016年初步研发完成,目前有稳定的研发团队持续维护,已在Github上开源(开源地址详见文章末尾)。

大数据 Greenplum Oceanbase 数据库 配置 集群 袋鼠云 同步 离线计算 数据同步 插件 异构数据 存储 流数据 FlinkX

数据中台的存储系统和计算平台枚举

作者:向师富 转自:阿里巴巴数据中台官网 https://dp.alibaba.com采集&传输层 SqoopHadoop、关系型数据库之间传输数据的工具。传输时,会启动多个MR作业并发的传输数据 DataX阿里巴巴开源的数据同步工具,用来在各种异构数据源之间同步数据。

分布式 大数据 消息队列 hbase hdfs hadoop 日志 Apache 数据处理 数据库 数据仓库 spark solr 离线计算 存储

息息相关的两大体系:数据中台与业务系统

作者:品鉴数据中台对外输出的表现形式多种多样,最普遍的做法是BI分析,其次是与业务中台形成一套有机的整体,对业务产生真正的价值。数据中台的BI呈现 数据中台是以OneModel统一数据构建及管理方法论,OneID核心商业要素资产化为核心,实现全域链接、标签萃取、立体画像,数据应用服务整体解决方案。

分布式 大数据 数据可视化 数据分析 运营 离线计算 报表 千人千面

浅谈分布式计算的开发与实现(二)

实时计算 接上篇,离线计算是对已经入库的数据进行计算,在查询时对批量数据进行检索、磁盘读取展示。 而实时计算是在数据产生时就对其进行计算,然后实时展示结果,一般是秒级。 举个例子来说,如果有个大型网站,要实时统计用户的搜索内容,这样就能计算出热点新闻及突发事件了。

云栖社区 编程语言 分布式 redis Java核心技术 java storm 消息队列 程序员 流式计算 分布式计算 离线计算 磁盘 后端开发

浅谈分布式计算的开发与实现(一)

介绍 分布式计算简单来说,是把一个大计算任务拆分成多个小计算任务分布到若干台机器上去计算,然后再进行结果汇总。 目的在于分析计算海量的数据,从雷达监测的海量历史信号中分析异常信号(外星文明),淘宝双十一实时计算各地区的消费习惯等。

云栖社区 编程语言 分布式 架构 java 消息队列 hdfs hadoop 程序员 配置 reduce 分布式计算 离线计算 容灾 Mapreduce

结构化数据存储,如何设计才能满足需求?

阿里妹导读:任何应用系统都离不开对数据的处理,数据也是驱动业务创新以及向智能化发展最核心的东西。数据处理的技术已经是核心竞争力。在一个完备的技术架构中,通常也会由应用系统以及数据系统构成。应用系统负责处理业务逻辑,而数据系统负责处理数据。

大数据 架构 hbase 数据库 索引 离线计算 数据同步 存储 数据存储 流计算

玩转阿里云EMR三部曲-中级篇 集成自有服务

玩转阿里云EMR三部曲-中级篇 集成自有服务 作者:邓力,entobit技术总监,八年大数据从业经历,由一代hadoop入坑,深耕云计算应用领域,由从事亚马逊EMR和阿里云EMR应用开发逐步转入大数据架构领域,对大数据生态及框架应用有深刻理解。

大数据 架构 OSS 高并发 配置 集群 spark solr aliyun 脚本 离线计算 EMR 弹性扩展

数据中台之结构化大数据存储设计

对数据系统核心组件进行拆解,介绍每个组件下对应的开源组件以及云上产品。

大数据 架构 分布式系统与计算 NOSQL TableStore hbase 数据库 索引 离线计算 数据同步 存储 数据存储 流计算

唱吧基于 MaxCompute 的大数据之路

在使用 MaxCompute之前,唱吧使用自建体系来存储处理各端收集来的日志数据,包括请求访问记录、埋点数据、服务器业务数据等。但随着每天处理数据量的增长,积累的历史数据越来越多,来自其他部门同事的需求越来越复杂,自建体系逐渐暴露出了能力上的短板。

大数据 日志 Image 同步 云服务 离线计算 数据同步 自建机房 报表 数据统计 MaxCompute QuickBI

9
GO