1. 云栖社区>
  2. 全部标签>
  3. #离线计算#
离线计算

#离线计算#

已有0人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

数据中台之结构化大数据存储设计

对数据系统核心组件进行拆解,介绍每个组件下对应的开源组件以及云上产品。

大数据 架构 分布式系统与计算 NOSQL TableStore hbase 数据库 索引 离线计算 数据同步 存储 数据存储 流计算

唱吧基于 MaxCompute 的大数据之路

在使用 MaxCompute之前,唱吧使用自建体系来存储处理各端收集来的日志数据,包括请求访问记录、埋点数据、服务器业务数据等。但随着每天处理数据量的增长,积累的历史数据越来越多,来自其他部门同事的需求越来越复杂,自建体系逐渐暴露出了能力上的短板。

大数据 日志 Image 同步 云服务 离线计算 数据同步 自建机房 报表 数据统计 MaxCompute QuickBI

海量数据下的舆情分析,该如何搭建?

互联网的飞速发展促进了很多新媒体的发展,不论是知名的大V,明星还是围观群众都可以通过手机在微博、朋友圈或者点评网站上发表动态,分享自己的所见所想,使得“人人都有了麦克风”。不论是热点新闻还是娱乐八卦,传播速度远超我们的想象,一则信息可以在短短数分钟内,有数万计转发,数百万的阅读。

大数据 架构 hbase 数据库 离线计算 Elasticsearch 存储 流计算 海量数据 舆情分析 舆情系统

阿里云发布敏感数据保护产品SDDP,数据贴身防护实现“外防内控”

7月10日,阿里云针对云上企业正式发布一款敏感数据保护产品SDDP(Sensitive Data Detection and Protection),该产品参考Gartner提出的DCAP框架(Data-Centric Audit and Protection,以数据为中心的审计与保护),结合了阿里云多年大数据处理技术、人工智能分析技术和数据安全运营实践,帮助客户精准识别敏感数据存储位置、多种算法组合脱敏确保数据安全可用、智能检测数据访问异常行为,实现了“外部攻击守源端、内部窃取能发现”的双重防护能力,帮助企业有效防止来自外部攻击和内部窃取导致的数据泄露。

大数据 安全 算法 数据安全 安全防护 对象存储 开发环境 离线计算 表格存储 数据存储 阿里云安全 数据泄露 数据保护 数据窃取

DataSimba系列之流式计算

市场变化越来越快,企业对于数据及时性的需求,也越来越大,另一方面,当下数据容量呈几何倍暴增,数据的价值在其产生之后,也将随着时间的流逝,逐渐降低。 因此,我们最好在事件发生之后,迅速对其进行有效处理,实时,快速地处理新产生的数据,帮助企业快速地进行异常管理和有效决策,而不是待数据存储在一起之后,再进行批量处理。

分布式 大数据 架构 监控 hbase 数据库 spark 流式计算 离线计算 数据采集 数据存储 流计算 海量数据 多维分析 数据中台

DataSimba系列之计算引擎篇

数据的爆炸式增长以及价值的扩大化,将对企业未来的发展产生深远的影响,数据将成为企业的核心资产。如何处理大数据,挖掘大数据的价值,让大数据为企业的发展保驾护航,将是未来信息技术发展道路上关注的重点。

分布式 大数据 SQL 数据处理 数据库 数据仓库 数据分析 spark 离线计算 Hive 磁盘 存储 计算引擎 数据中台

数据智能,触手可及!袋鼠云数栈推出 数据科学平台 DTinsight.Science

一句话了解DTinsight.Science DTinsight.Science是「可视化建模与交互式代码编写于一体的机器学习作业探索平台」,实现数据接入、可视化实验建模、Notebook编程、模型训练、模型部署、任务运维等开发场景,帮助企业构建算法服务能力,提供高效、安全、稳定的算法运行环境。

深度学习 大数据 算法 袋鼠云 离线计算 文本分析 关系网络

基于大数据的舆情分析系统架构 - 架构篇

# 前言 互联网的飞速发展促进了很多新媒体的发展,不论是知名的大V,明星还是围观群众都可以通过手机在微博,朋友圈或者点评网站上发表状态,分享自己的所见所想,使得“人人都有了麦克风”。不论是热点新闻还是娱乐八卦,传播速度远超我们的想象。

数据存储与数据库 大数据 架构 分布式系统与计算 java hbase 阿里技术协会 数据库 离线计算 Elasticsearch 存储 流计算 舆情分析 舆情系统 大数据架构

自动化日志收集及分析在支付宝 App 内的演进

作者:曲仁军(骁然),蚂蚁金服技术专家。本文将聚焦支付宝在移动端如何构建日志自动化采集和分析能力,从而通过“数据采集、计算、分析、决策”完成针对业务性能的监控与用户行为分析。

移动开发与客户端 大数据 架构 算法 监控 实时系统 性能 日志 离线计算 数据同步 日志处理

2019-5-12的kafka&Flink沙龙收获

kafka 大会,美团、京东大厂的kafka最佳实践经验

监控 域名 日志 集群 离线计算 容灾 性能测试 权限管理 kafka

容器服务kubernetes虚拟节点实践二:Job任务 + 虚拟节点

都说kuberntes集群的奔溃是从节点资源不够开始的,节点资源配置不足会导致pod无法及时运行,购买过多的节点又会导致资源的闲置浪费。虚拟节点就像是kubernetes集群的“魔法口袋”,让我们摆脱节点计算力不足的烦扰,也避免了节点的闲置浪费,满足“无限”计算力的想象,pod按需创建,轻松应对计算的波峰波谷。

云栖社区 集群 容器 Image 弹性计算 离线计算 perl serverless kuberntes

阿里云高效云盘和SSD云盘有什么区别?哪个更好?

阿里云高效云盘和SSD云盘有什么区别?哪个更好?本文描述了块存储性能的重要指标、不同块存储类型的性能、性能测试方式和结果解读。 衡量指标衡量块存储产品的性能指标主要包括:IOPS、吞吐量和访问时延。 IOPSIOPS是Input/Output Operations per Second,即每秒能处理的I/O个数,用于表示块存储处理读写(输出/输入)的能力。

PostgreSQL Oracle 性能 高可用 数据库 测试 云盘 Server 离线计算 存储

基于Hadoop分布式集群搭建政企大数据计算存储服务平台_数道云科技

大数据可以说影响的行业及领域非常广泛,例如:政治、经济、科学、教育、医学、社会研究…………由此也可以证明大数据对于如今的市场来说的重要性以及其发展的趋势。

分布式 大数据 监控 hadoop 高可用 互联网 集群 分布式计算 离线计算 物联网 存储 Hadoop分布式数据采集 Hadoop大数据平台 大数据计算存储服务平台 Hadoop分布式集群

“十年磨一剑”--有赞的HBase平台实践和应用之路

在中国HBase技术社区第十届meetup杭州站中,有赞数据开发工程师赵原向大家分享了HBase在有赞的产品定位,重点介绍了有赞HBase和相关管控平台的研发建设、以及在HBase 1.2.6版本之上所做的改造、改造原因以及给业务实践带来的价值。

监控 hbase 模块 高可用 集群 工单 数据迁移 离线计算 存储

阿里云高效云盘和SSD云盘有什么区别?哪个更好?

本文描述了块存储性能的重要指标、不同块存储类型的性能、性能测试方式和结果解读。 衡量指标 衡量块存储产品的性能指标主要包括:IOPS、吞吐量和访问时延。 IOPS IOPS是Input/Output Operations per Second,即每秒能处理的I/O个数,用于表示块存储处理读写(输出/输入)的能力。

云栖社区 PostgreSQL Oracle 性能 高可用 数据库 测试 云盘 Server 离线计算 存储 高效云盘 ssd云盘

8
GO