1. 云栖社区>
  2. 全部标签>
  3. #离线分析#
离线分析

#离线分析#

已有0人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

EMR弹性低成本离线大数据分析

阿里云最佳实践频道:【点击查看更多上云最佳实践】这里有丰富的企业上云最佳实践,从典型场景入门,提供一系列项目实践方案,降低企业上云门槛的同时满足您的需求! 场景描述 基于阿里云的E-MapReduce(EMR) 、对象存储OSS、日志服务SLS、抢占式ECS实例构建弹性、低成本的计算与存储分离架构的海量离线大数据分析日志分析系统。

大数据 架构 OSS ECS 日志 SLS 负载均衡 弹性计算 aliyun 对象存储 e-mapreduce EMR 离线分析 存储 大数据分析

云原生领域首本架构白皮书,你Get到了吗?

近日,由阿里云 20+ 位云原生技术专家共同编撰的《云原生架构白皮书》正式对外发布。作为业界第一本全方位构建云原生架构规划与实践全景图的白皮书,本书在详细阐述云原生架构定义的同时,完整展示云原生架构应用所需的演进路径与设计规则,旨在帮助企业更好地理解与应用云原生架构,助力企业数字化转型升级。

架构 服务器 函数 高可用 消息中间件 容器 弹性伸缩 负载均衡 对象存储 云服务 离线分析

业界首发|云原生领域首本架构白皮书重磅发布

今日,由阿里云 20+ 位云原生技术专家共同编撰的《云原生架构白皮书》正式对外发布。作为业界第一本全方位构建云原生架构规划与实践全景图的白皮书,本书在详细阐述云原生架构定义的同时,完整展示云原生架构应用所需的演进路径与设计规则,旨在帮助企业更好地理解与应用云原生架构,助力企业数字化转型升级。

架构 服务器 函数 高可用 消息中间件 容器 弹性伸缩 负载均衡 对象存储 云服务 离线分析

【云栖号案例 | 物联网&人工智能】应对梅雨季 水务精灵助力梅城镇智能化解决排水难题

梅城镇通过阿里云AIoT实现“排水管网数据管理 + 运行监控 + 移动应用”的功能应用,实现梅城镇排水管网设施数字化统一管理。

人工智能 钉钉 物联网 离线分析

车主无忧:Kafka商业版实践助力车主无忧系统稳健

“商业版的KAFKA完全兼容开源的生态,接入方便容易,并且提供了优质的SLA保障,各种日常功能操作也简洁易用,综合使用成本有优势。总得来说就是省事省钱,质量有保证,是一款良心制作的基础PAAS产品。”——小迈 CTO温嘉铭

大数据 监控 消息队列 集群 数据迁移 离线分析 移动互联网 存储

【云栖号案例 | 互联网】车主无忧通过消息队列Kafka商业版 解放生产力 节省大量成本

车主无忧开源的Kafka多副本存储,存储压力大,处理冷数据读的时候处理速度明显下降。上云后消息集群平稳运行,提升诊断效率、指导优化系统。

大数据 监控 消息队列 互联网 集群 数据迁移 aliyun 离线分析 移动互联网 存储

陷入人肉SQL优化的恶性循环怎么办?是时候跟它们说再见了

传统方式依赖人力驱动,人工发现问题和解决问题这两方面的局限性会显得尤为突出,常常处于故障驱动、疲于应对、四处救火的状态。随着业务规模发展,实例规模扩大,所有这些问题也随之被放大,并且大概率会进入即使投入更多人力也没有办法解决的恶性循环状态。

安全 性能 SQL 数据库 aliyun 索引 离线分析

为什么数据库选型和找对象一样重要

为什么数据库选型和找对象一样重要 一、找对象 正常路径: 知己 -> 缘分出现 -> 恋爱[知彼] -> 结婚 -> 2个家庭关系结合(七大姑八大姨) -> 生娃 -> 带娃 -> 七年之痒 -> 愉快的共度一生 错误后果: 1、家庭不和睦 2、影响小孩成长 3、离婚 生无可恋 财产分割 [...

数据存储与数据库 架构 PostgreSQL 性能 数据库 容灾 离线分析 图像识别

无需代码改造的可视化业务监控-阿里云ARMS发布新特性

业务监控概览 传统的监控工具提供了从基础架构,应用系统,请求等角度去衡量健康度的方式,然后这些指标都缺乏业务语义,无法回答诸如今天下单交易平均响应时间是多少,成功率如何等业务问题。 ARMS最新发布了业务监控功能,提供从业务的视角去衡量应用的性能和稳定性的新方式,从而对业务的关键交易进行全链路的监控。

云栖社区 监控 性能 日志 数据库 钉钉 同步 aliyun 数据同步 监控工具 离线分析

系列文章:Kubernetes日志方案设计思路

上一篇中我们介绍了为什么需要一个日志系统、为什么云原生下的日志系统如此重要以及云原生下日志系统的建设难点,相信DevOps、SRE、运维等同学看了是深有体会的。本篇文章单刀直入,会直接跟大家分享一下如何在云原生的场景下搭建一个灵活、功能强大、可靠、可扩容的日志系统。

架构 监控 日志 微服务 Image 离线分析 数据采集 流计算 kubernetes k8s 日志分析 serverless Elastic prometheus

一文看懂 K8s 日志系统设计和实践

上一篇中我们介绍了为什么需要一个日志系统、为什么云原生下的日志系统如此重要以及云原生下日志系统的建设难点,相信DevOps、SRE、运维等同学看了是深有体会的。本篇文章单刀直入,会直接跟大家分享一下如何在云原生的场景下搭建一个灵活、功能强大、可靠、可扩容的日志系统。

架构 监控 日志 微服务 离线分析 流计算 日志分析 云原生

CDH在云上利用文件存储HDFS实现存储计算分离

阿里云文件存储HDFS服务是阿里云专门针对先进的存储计算分离架构下的大数据分析场景定制推出的文件存储服务。文件存储HDFS采用全自研的底层架构,有效规避了开源HDFS系统的诸多短板,并提供标准的HDFS访问协议,用户无需对现有大数据分析应用做任何修改,即可使用具备无限容量及性能扩展、单一命名空间、高可靠和高可用等特性的托管型分布式文件系统。

架构 hdfs hadoop 性能 配置 集群 测试 spark 分布式文件系统 离线分析 存储 cloudera 存储计算分离

Knative 实战:基于 Kafka 实现消息推送

作者 | 元毅 阿里云智能事业群高级开发工程师 导读:当前在 Knative 中已经提供了对 Kafka 事件源的支持,那么如何基于 Kafka 实现消息推送呢?本文作者将以阿里云 Kafka 产品为例,给大家解锁这一新的姿势。

大数据 消息服务 消息队列 微服务 容器 控制台 Consumer 离线分析 demo Group service 云原生

Knative 实战:基于阿里云 Kafka 实现消息推送

在 Knative 中已经提供了对 Kafka 事件源的支持,那么如何在阿里云上基于 Kafka 实现消息推送,本文给大家解锁这一新的姿势。

大数据 消息服务 消息队列 Image 控制台 Consumer 离线分析 demo metadata Group serverless Knative

Hadoop生态系统

Hadoop生态系统 首先我们先了解一下Hadoop的起源。然后介绍一些关于Hadoop生态系统中的具体工具的使用方法。

分布式 hbase hdfs hadoop 数据库 数据仓库 集群 数据挖掘 分布式计算 google 分布式文件系统 Hive 离线分析 zookeeper Mapreduce

阿里宜搭发布OCR文字识别插件 助力合作伙伴升级

7月26日,在阿里云合作伙伴峰会上,阿里云发布SaaS生态战略:通过SaaS加速器为合作伙伴提供应用开发、集成、上云、售卖的全链路解决方案,提升开发效率和集成效率,缩短商业化周期。 作为阿里SaaS加速器的重要一环,零代码业务应用搭建平台“宜搭”能助力产品提升开发效率。

云栖社区 大数据 配置 SaaS 解决方案 离线分析 插件 文字识别

通过Spark SQL实时归档SLS数据

流式计算和SQL 简要介绍Spark SQL流式开发语法 实时归档SLS数据到HDFS

云栖社区 数据存储与数据库 系统研发与运维 网络与数据通信 hdfs SQL SLS 配置 spark 流式计算 离线分析 schema Create

通过Spark SQL实时归档SLS数据

我在前一篇文章介绍过基于Spark SQL实现对HDFS操作的实时监控报警。今天,我再举例说明一下如何使用Spark SQL进行流式应用的开发。

大数据 hdfs SQL SLS 配置 spark 流式计算 分布式计算 离线分析 schema Create 实时数仓

基于Apache Flume Datahub插件将日志数据同步上云

## 简介 Apache Flume是一个分布式的、可靠的、可用的系统,可用于从不同的数据源中高效地收集、聚合和移动海量日志数据到集中式数据存储系统,支持多种Source和Sink插件。本文将介绍如何使用Apache Flume的[Datahub Sink插件](https://github.

日志 LOG Apache 阿里技术协会 配置 agent aliyun 数据同步 离线分析 插件 type 数据存储 MaxCompute datahub 数据上云

7
GO