1. 云栖社区>
  2. 全部标签>
  3. #离线计算#
离线计算

#离线计算#

已有0人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

闲鱼直播三周内实现点击率翻倍,我们是这么做到的...

众里寻他千百度,蓦然回首,主播就在灯火阑珊处

算法 数据库 Image 搜索引擎 运营 离线计算 存储

微博基于 Flink 的机器学习实践

微博作为国内比较主流的社交媒体平台,目前拥有2.22亿日活用户和5.16亿月活用户。如何为用户实时推荐优质内容,背后离不开微博的大规模机器学习平台。

深度学习 算法 消息队列 日志 集群 离线计算 存储 推荐系统

数据处理能力相差 2.4 倍?Flink 使用 RocksDB 和 Gemini 的性能对比实验

在本篇文章中我们将对 RocksDB、Heap 和 Gemini 在相同场景下进行压测,并对其资源消耗进行对比。测试的 Flink 内核版本为 1.10.0。

性能 数据处理 配置 测试 对象存储 离线计算 page 磁盘 存储 数据存储

详解 Flink 实时应用的确定性

最近几年随着 Google The Dataflow Model 的提出,实时计算和离线计算的关系逐渐清晰,在实时计算中提供与离线计算一致的确定性成为可能。本文将基于流行实时计算引擎 Apache Flink,梳理构建一个确定性的实时应用要满足什么条件。

大数据 算法 函数 日志 Processing 离线计算 source 存储

数智化时代合格数据架构师如何养成?

数智化时代,“数据架构师”这样的角色起到越来越重要的作用。能力越大责任也就越大,因此对于这个角色也有了越来越高的要求。那到底对于数据架构师有什么要求呢?对于想成为数据架构师的同学职业方向需要如何做合理的规划呢?

安全 架构 服务器 数据库 数据安全 离线计算 存储 数据管理 数据应用

数据中台的存储系统和计算平台枚举

采集&传输层 SqoopHadoop、关系型数据库之间传输数据的工具。传输时,会启动多个MR作业并发的传输数据 DataX阿里巴巴开源的数据同步工具,用来在各种异构数据源之间同步数据。

分布式 大数据 消息队列 hbase hdfs hadoop 日志 Apache 数据处理 数据库 数据仓库 spark solr 离线计算 存储

如何从零开始建设数据中台?

数据中台对于许多传统企业而言,依旧是很陌生的概念。如何从零开始建设数据中台?我们把它简化为一个方程式,数据中台:正确的人 + 正确的工具 + 正确的事 = 降本增效,其中,三个要素缺一不可。

大数据 架构 离线计算 数据采集 传统企业

天启:如何从零开始建设数据中台? | 数智加速度04课回顾

4月29日,数据中台建设实战系列课程「数智加速度」第4课,奇点云数据模型架构专家天启带来分享《AI驱动的数据中台架构设计》,步步踏实落地,带大家从0开始建设数据中台。 天启,奇点云数据模型架构专家、原海尔集团数据架构师、原阿里巴巴政务团队数据架构师,精通数据仓库建模理论及数据开发技术,具备零售、政务、医药、制造等多个领域数仓和数据中台建设经验,及PB级数据仓库与数据中台建设经验。

大数据 架构 数据仓库 离线计算 数据采集 传统企业

MaxCompute 入门必知

什么是MaxCompute?MaxCompute的主要应用场景有哪些?产品有什么特点?系统架构和作业流程是怎样的?

分布式 大数据 数据处理 高并发 数据仓库 数据分析 数据挖掘 解决方案 沙箱 分布式计算 分布式架构 离线计算 权限管理 存储 MaxCompute

工作3年,月薪20k+的大数据开发人员,突然说我不想只做Hadoop、Spark、Flink层面的技术开发

“不管国内或全球“新冠”疫情有多严重、还得持续多久,我只想先保住我的工作,如果降薪,我也能在短时间找到待遇更好的下一个东家”。 ——《大数据就业特训营》23期学员李斌 2014年做大数据培训至今,已有5年之多,可以说大数据技术的发展变化速度之快,用“突飞猛进”来说毫不夸张。

数据仓库 数据安全 spark 离线计算 异构数据 Hadoop、Spark、Flink

助力“新基建” | 基于StreamWorks构建实时大数据处理平台

导语 2020年春节期间,一场突如其来的疫情在全国蔓延开来,打破了大家原有的工作生活节奏。疫情期间,大家宅在家就能随时看到实时的大数据疫情地图,可以随时刷到自己当前感兴趣的抖音视频,这一切背后依赖的最重要的技术,就是实时大数据处理技术。

大数据 数据库 数据流 数据分析 袋鼠云 同步 流式计算 url 离线计算 数据采集 数据存储 推荐系统 流数据

E-MapReduce弹性低成本离线大数据分析

基于阿里云的E-MapReduce(EMR) 、对象存储OSS、日志服务SLS、抢占式ECS实例构建弹性、低成本的计算与存储分离架构的海量离线大数据分析日志分析系统。

大数据 hadoop 数据仓库 系统环境 电商 Image 数据分析 钉钉 spark 开源大数据 e-mapreduce 分布式计算 离线计算 日志分析 大数据分析

一套 SQL 搞定数据仓库?Flink有了新尝试

数据仓库是公司数据发展到一定规模后必然需要提供的一种基础服务,也是“数据智能”建设的基础环节。

架构 SQL 数据库 数据仓库 离线计算 Hive schema Create 存储 流计算

一套 SQL 搞定数据仓库?Flink有了新尝试

目前企业的数仓建设大多是离线一套,实时一套。业务要求低延时的使用实时数仓;业务复杂的使用离线数仓。架构十分复杂,需要使用很多系统和计算框架,这就要求企业储备多方面的人才,导致人才成本较高,且出了问题难以排查,终端用户也需要熟悉多种语法。

大数据 架构 SQL 数据处理 数据库 数据仓库 离线计算 Hive 存储 流计算 flink 实时计算

一个优秀的Push平台,需要经历怎样的前世今生

没有什么是hermes解决不了的

架构 算法 配置 用户体验 离线计算

解密淘宝推荐实战,打造 “比你还懂你” 的个性化APP

如今,推荐系统已经成为各大电商平台的重要流量入口,谁才能够做到比用户更懂用户,谁占据了新零售时代的主动权。

算法 日志 个性化推荐 在线学习 Image 淘宝 序列 离线计算 推荐系统

10
GO