冶善 + 关注
阿里巴巴计算平台事业部高级开发工程师

冶善 发表了文章:

Maxcompute Spark作业管控利器—Cupid Console

发布时间:2020-02-17 12:20:35 浏览:445 回帖 :0

Cupid Console是MaxCompute客户端 0.33.1 及更新版本新增的一个插件,下载MaxCompute客户端最新版本:https://github.com/aliyun/aliyun...

odps spark aliyun list MaxCompute

冶善 发表了文章:

基于OGG Datahub插件将Oracle数据同步上云

发布时间:2018-05-07 17:36:07 浏览:1097 回帖 :0

## 一、背景介绍 >随着数据规模的不断扩大,传统的RDBMS难以满足OLAP的需求,本文将介绍如何将Oracle的数据实时同步到阿里云的大数据处理平台当中,并利用大数据工具对数据进行分析。 ...

Oracle 日志 阿里技术协会 数据库 配置 同步 数据同步 插件 database MaxCompute datahub 数据上云

冶善 发表了文章:

基于OGG Datahub插件将Oracle数据同步上云

发布时间:2017-06-05 11:02:02 浏览:3069 回帖 :2

## 一、背景介绍 >随着数据规模的不断扩大,传统的RDBMS难以满足OLAP的需求,本文将介绍如何将Oracle的数据实时同步到阿里云的大数据处理平台当中,并利用大数据工具对数据进行分析。 ...

Oracle 日志 阿里技术协会 数据库 配置 同步 数据同步 插件 database MaxCompute datahub 数据上云

冶善 评论了文章:

Sqoop 安装

发布时间:2016-11-24 17:29:00 浏览:1374 回帖 :1

简介 Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到...

hdfs hadoop Apache http 数据库 path 配置 Server Mapreduce vim sqoop

“MaxCompute有一款是基于社区sqoop 1.4.6版本开发的Sqoop,增加了对MaxCompute的支持,可以支持将数据从Mysql等关系数据库和MaxCompute的导入和导出,也支持从H...查看全部>

冶善 发表了文章:

Docker时代——如何实现日志数据一键上云

发布时间:2017-02-10 10:09:12 浏览:3819 回帖 :0

1 准备工作 1.1 开通MaxCompute服务 参考使用MaxCompute的准备工作 1.2 开通Datahub服务 进入Datahub Web控制台,创建project(注意:首次...

docker 阿里云 HTTPS 日志 镜像 数据分析 操作系统 控制台 aliyun test Registry 数据采集 MaxCompute

冶善 参与了问答:

访问Docker镜像页面报错:DOCKER_USER_JURISDICTION

https://cr.console.aliyun.com/#/dockerImage/24298/detail 用我的账户访问这个页面会报错 :DOCKER_USER_JURISDICTION 之...

“知道原因了,是访问的image已经被我删除掉不存在了。 这个报错信息让人有点费解。”

冶善 参与了问答:

使用jdbc连接odps的时候,一直提示Connection timeout.

连接的url是odps的内网测试环境,然后ak都有,可以加载odps-jdbc的驱动,但是一直报错,Connection time out.ping过主机地址,能通;在控制台也能打印出,odps提示的...

“需要检查下accessID, key 以及endpoint填写是正确的。endpoint的填写参考:https://help.aliyun.com/document_detail/34951.html...查看全部>

冶善 发表了文章:

[ETL实践指南]基于Kettle的MaxCompute插件实现数据上云

发布时间:2017-01-18 15:47:26 浏览:14982 回帖 :15

本文用到的 阿里云数加-大数据计算服务MaxCompute产品地址:https://www.aliyun.com/product/odps 简介 Kettle是一款开源的ETL工具,纯jav...

大数据 阿里云 mysql etl http 数据库 配置 数加 aliyun JDBC 插件 Kettle MaxCompute ATA 数据上云

冶善 发表了文章:

MaxCompute(原ODPS) MapReduce常见问题解答

发布时间:2016-12-30 18:08:22 浏览:5385 回帖 :1

#### 1. 作业出现ClassNotFoundException和NoClassDefFoundError异常失败? A: 对于ClassNotFoundException异常,一般是依赖的cl...

java 阿里技术协会 reduce odps 排序 aliyun 沙箱 class html Mapreduce MaxCompute

冶善 发表了文章:

基于OGG Datahub插件将Oracle数据同步上云

发布时间:2016-12-09 20:01:10 浏览:6992 回帖 :1

一、背景介绍 随着数据规模的不断扩大,传统的RDBMS难以满足OLAP的需求,本文将介绍如何将Oracle的数据实时同步到阿里云的大数据处理平台当中,并利用大数据工具对数据进行分析。 OG...

Oracle 日志 数据库 配置 同步 string 数据同步 插件 database MaxCompute datahub 数据上云

冶善 评论了文章:

【大数据干货】数据进入阿里云数加-大数据计算服务MaxCompute(原ODPS)的N种方式

发布时间:2016-12-07 23:05:29 浏览:14289 回帖 :3

想用阿里云大数据技术服务MaxCompute对于大多数人首先碰到的问题就是数据如何迁移到MaxCompute中。按照数据迁移场景大致可以分为批量数据、实时数据、本地文件、日志文件等的迁移下面我们针对每...

大数据 日志 数据迁移 数据同步 异构数据 MaxCompute 大数据平台 大数据开发套件

“很全的总结~ 👍”

冶善 发表了文章:

基于Apache Flume Datahub插件将日志数据同步上云

发布时间:2016-12-09 10:07:54 浏览:6610 回帖 :1

## 简介 Apache Flume是一个分布式的、可靠的、可用的系统,可用于从不同的数据源中高效地收集、聚合和移动海量日志数据到集中式数据存储系统,支持多种Source和Sink插件。本文将介...

日志 LOG Apache 阿里技术协会 配置 agent aliyun 数据同步 离线分析 插件 type 数据存储 MaxCompute datahub 数据上云

冶善 发表了文章:

MaxCompute Tunnel SDK数据上传利器——BufferedWriter使用指南

发布时间:2016-11-28 18:16:23 浏览:5154 回帖 :0

MaxCompute 的数据上传接口(Tunnel)定义了数据 block 的概念:一个 block 对应一个 http request,多个 block 的上传可以并发而且是原子的,一次同步请求要么...

java 线程 sdk 多线程 session Commit MaxCompute Tunnel

冶善 发表了文章:

如何在MaxCompute上运行HadoopMR作业

发布时间:2016-10-12 13:26:17 浏览:4099 回帖 :0

MaxCompute(原ODPS)有一套自己的MapReduce编程模型和接口,简单说来,这套接口的输入输出都是MaxCompute中的Table,处理的数据是以Record为组织形式的,它可以很好地...

hadoop 阿里技术协会 odps mr Mapreduce

阿里巴巴

感兴趣or擅长的领域:

更多>
晋恒
晋恒
文章:126丨 粉丝:64638丨 话题:2
勿烦
勿烦
文章:3丨 粉丝:63692丨 话题:0
龙重
龙重
文章:1丨 粉丝:63680丨 话题:0
弘锐66
弘锐66
文章:6丨 粉丝:63711丨 话题:0
曾文旌
曾文旌
文章:17丨 粉丝:7897丨 话题:1
丁奇
丁奇
文章:79丨 粉丝:8617丨 话题:0
更多>
游客jsi5jwjiznr7o
游客jsi5jwjiznr7o
文章:0丨 粉丝:0丨 话题:0
游客brbywiu6vhomu
游客brbywiu6vhomu
文章:0丨 粉丝:0丨 话题:0
HybridDBDMS
HybridDBDMS
文章:0丨 粉丝:0丨 话题:0
游客ggbhwh43xbma6
游客ggbhwh43xbma6
文章:0丨 粉丝:0丨 话题:0
游客i6eilu2r6ksrm
游客i6eilu2r6ksrm
文章:0丨 粉丝:0丨 话题:0
游客qknk6fvn7zgtu
游客qknk6fvn7zgtu
文章:0丨 粉丝:0丨 话题:0