1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. O>
  5. oss 数据源

当前主题:oss 数据源

一分钟完成访问数据的智能巡检告警

时序巡检适用范围从业务维度看网站访问流量、延时、PV产品的活跃用户数业务较为稳定的机器的CPU利用率、内存使用情况、系统负载指标云上SLB中的出入网流量K8S中Ingress访问日志的流量、延时情况从指标形态维度看具有一定业务规律的时序曲线从指标异常维度看关注

阅读全文

OSS 数据湖实践 —— EMR+OSS入门

对象存储服务(Object Storage Service,OSS)是一种海量、安全、低成本、高可靠的云存储服务,适合存放任意类型的文件;E-MapReduce(EMR)构建于云服务器ECS上,基于开源的Apache Hadoop和Apache Spark,

阅读全文

OSS 数据湖实践 —— 使用EMR JindoFs Cache提升性能

通过使用cache缓存机制,减少数据分析处理过程中直读OSS的次数,不仅能够提高性能,更能减少与OSS的交互流量,减少数据分析成本与时间开销。 前提条件 已注册阿里云账号,详情请参见注册云账号。 已开通E-MapReduce服务和OSS服务。 已完成云账号的

阅读全文

OSS 回源功能

浅谈 OSS 回源功能,也称镜像回源,可以类比 Nginx 的 PCRE 满足一定条件下触发的 rewrite 功能,但是 OSS 的功能更加丰富。大致分为了两种主要功能,一种是 404 回源,另外是重定向回源。 使用的场景,一般是数据迁移、主备 OSS、C

阅读全文

OSS数据湖实践——EMR + Hive + OSS案例

Hive是一种建立在Hadoop文件系统上的数据仓库架构,并对存储在HDFS中的数据进行分析和管理;本文通过一个简单的示例来展现如何结合OSS+EMR+Hive来分析OSS上的数据。 前提条件 • 已注册阿里云账号,详情请参见注册云账号。 • 已开通E-Ma

阅读全文

OSS数据湖实践——EMR + Spark + OSS案例

本文介绍大数据分析引擎spark 基于EMR集群,利用OSS云存储数据,实现一个简单的分析案例。 前提条件 • 已注册阿里云账号,详情请参见注册云账号。 • 已开通E-MapReduce服务和OSS服务。 • 已完成云账号的授权,详情请参见角色授权。 • 已

阅读全文

OSS数据湖实践——EMR + Flink + OSS案例

本文介绍使用Flink大数据分析引擎,基于EMR,利用OSS云存储数据,实现一个分析案例。 前提条件 • 已注册阿里云账号,详情请参见注册云账号。 • 已开通E-MapReduce服务和OSS服务。 • 已完成云账号的授权,详情请参见角色授权。 • 已创建H

阅读全文

阿里云云原生数据湖分析DLA重磅发布-数据湖管理,助力企业一站式管理OSS数据湖存储数据

一、什么是数据湖方案 数据湖当前在国内外是比较热的方案,MarketsandMarkets市场调研显示预计数据湖市场规模在2024年会从2019年的79亿美金增长到201美金。一些企业已经构建了自己的云原生数据湖方案,有效解决了业务痛点;还有很多企业在构建或

阅读全文

oss 数据源相关问答

查看更多 提问题

如何在 MR/Spark 作业中指定 OSS 数据源文件路径

如何在 MR/Spark 作业中指定 OSS 数据源文件路径

阅读全文

官方开源版本的hive能否使用oss作为数据源

使用官方开源版本的hive能否使用oss作为数据源,如果可以的话,具体需要引入什么包?

阅读全文

emr 数据除了oss源之外,在集群上还会存放数据吗?

emr 数据除了oss源之外,在集群上还会存放数据吗?

阅读全文

购买的OSS回源资源包生效时间能改吗?

刚刚购买了资源回源包,但是发现生效时间是从5-1开始的,但是我们现在就要用,不知道能不能改,求大神帮忙解答下啊。

阅读全文

怎么更改数据源

oss中原来bucket已经被删除,新增了一个新的bucket.但机器学习中数据源还显示着原来bucket的名字,运行程序显示cycle deleted

阅读全文

DataWorks数据集成中的数据同步是否支持不同数据源的数据同时同步处理。

DataWorks数据集成中的数据同步是否支持不同数据源的数据同时同步处理。应该支持同一个数据源的多个数据的同时同步,那不同数据源的数据支持同时同步吗?例如将OSS的一个csv文件和mysql的一个表文件,同时写入到一个表中?

阅读全文

报错,Class com.aliyun.fs.oss.nat.NativeOssFileSystem not found

![_6_5_H_D92XS3_PNHH_T_V](https://yqfile.alicdn.com/30198a0071631319fef3ee32ea76f8ff472582a5.png) 我的是spark1.6,scala2.11 然后pom文件

阅读全文

在阿里云上自己搭建hadoop/hive的官方版本的集群,可不可以使用oss的服务

我在阿里云上搭建了,hadoop/hive官网开源版本的集群,不是使用阿里云提供的E-MapReduce版本,不知道能不能在官方版本的hive中使用阿里云oss作为数据源?如果可以,能否提供一下示例代码。

阅读全文