1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. O>
  5. oss spark

当前主题:oss spark

MaxCompute问答整理之11月

本文是基于本人对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文。希望对大家有所帮助。 问题一、请问MySQL中IFNULL对应到MaxCompute中的函数是什么? NVL,MaxCompute中有内建函数可以使用,与MyS

阅读全文

X-Pack Spark 访问OSS

简介 对象存储服务(Object Storage Service,OSS)是一种海量、安全、低成本、高可靠的云存储服务,适合存放任意类型的文件。容量和处理能力弹性扩展,多种存储类型供选择,全面优化存储成本。 本文主要介绍通过Spark操作OSS数据的常见方式

阅读全文

Hive数据如何同步到MaxCompute之实践讲解

摘要:本次分享主要介绍 Hive数据如何迁移到MaxCompute。MMA(MaxCompute Migration Assist)是一款MaxCompute数据迁移工具,本文将为大家介绍MMA工具的功能、技术架构和实现原理,再通过实际操作MMA,演示将Hi

阅读全文

数据中台建设引擎Dataphin亲测体验报告一:功能完备性测评

作者:张骞 更多内容详见数据中台官网 https://dp.alibaba.com 近期公司采购了阿里云智能数据构建与管理产品Dataphin,推广大数据和IT部门使用,说需要统一数据研发规范性,还要释放数据生产力,提高业务需求响应效率,作为大数据部门一个小

阅读全文

最佳实践 | RDS & POLARDB归档到X-Pack Spark计算

X-Pack Spark服务通过外部计算资源的方式,为Redis、Cassandra、MongoDB、HBase、RDS存储服务提供复杂分析、流式处理及入库、机器学习的能力,从而更好的解决用户数据处理相关场景问题。 RDS & POLARDB分表归档到X-P

阅读全文

Spark Relational Cache实现亚秒级响应的交互式分析

本场视频链接:https://developer.aliyun.com/live/1548?spm=a2c6h.12873581.0.0.71671566Xloy3Z&groupCode=apachespark 本场PPT资料:https://www.sli

阅读全文

基于 Spark 和 TensorFlow 的机器学习实践

本场视频链接:https://developer.aliyun.com/live/1547?spm=a2c6h.12873581.0.0.71671566iIzpz5&groupCode=apachespark 本场PPT资料:https://www.sli

阅读全文

EMR 打造高效云原生数据分析引擎

本场视频链接:EMR打造高效云原生数据分析引擎 本场ppt材料:https://www.slidestalk.com/AliSpark/2019___0926_110365 基于开源体系打造云上数据分析平台 客户选择开源方案的原因主要有以下几点: • 灵活多

阅读全文

oss spark相关问答

查看更多 提问题

如何在 MR/Spark 作业中指定 OSS 数据源文件路径

如何在 MR/Spark 作业中指定 OSS 数据源文件路径

阅读全文

oss spark-shell运行代码报错

![screenshot](https://yqfile.alicdn.com/1f81183d9dbb3386b26f6a0288b48bc85a97cfa7.png) 如图所示,不知道在哪里设置,我命令使用的是spark-shell --jars x

阅读全文

【精品问答合集】Hbase热门问答

hbase 大量写入很慢 https://yq.aliyun.com/ask/50074 发现hbase文件大规模的丢失了 https://yq.aliyun.com/ask/46584 hbase启动脚本start-hbase的疑问 htt

阅读全文

spark 访问不了oss

用github上的aliyun-emapreduce-demo, Spark本地应用访问oss遇到的问题: 在源文件的src/main/scala/com/aliyun/emr/example/RunLocally.scala 中 conf.set("

阅读全文

emr连接oss超时(ConnectionTimeout)

![screenshot](https://yqfile.alicdn.com/393a0926a2797e4eb6b9144051043def005319fb.png) 请问一般是什么原因?

阅读全文

报错,Class com.aliyun.fs.oss.nat.NativeOssFileSystem not found

![_6_5_H_D92XS3_PNHH_T_V](https://yqfile.alicdn.com/30198a0071631319fef3ee32ea76f8ff472582a5.png) 我的是spark1.6,scala2.11 然后pom文件

阅读全文

使用E-MapReduce,spark中读取oss文件

运行spark报如下错误: ![69_7BGO_I8S_S4F_CI_L5AL](https://oss.aliyuncs.com/yqfiles/6fac62720fe0cd07f4983bf4c76eceb9f81a8aea.png) 注:已配ac

阅读全文

java.lang.ClassNotFoundException: com.aliyun.oss.OSSClient 求解答

我的命令 : ./bin/spark-submit --jars /opt/aliyun-sdk-oss-2.8.2.jar,/opt/aliyun-sdk-mns-1.1.8.jar,/opt/emr-mns_2.11-1.4.1.jar,/opt/e

阅读全文