阿里巴巴大数据 —玩家社区 + 关注
手机版

MaxCompute(原ODPS)开发入门指南——数据上云篇

  1. 云栖社区>
  2. 阿里巴巴大数据 —玩家社区>
  3. 博客>
  4. 正文

MaxCompute(原ODPS)开发入门指南——数据上云篇

祎休 发布时间:2017-06-07 20:37:05 浏览5345 评论1

摘要: 根据《MaxCompute(原ODPS)开发入门指南——计量计费篇》的了解,大家清楚了MaxCompute可以做什么,计费模式如何,想必大家也开通了MaxCompute想进行一次POC,但是大家遇到第一个问题一定是我的数据如何上云?

MaxCompute(原ODPS)开发入门指南——数据上云篇

写在最前面

>>>进入了解更多>>>阿里云数加·MaxCompute大数据计算服务.

根据《MaxCompute(原ODPS)开发入门指南——计量计费篇》的了解,大家清楚了MaxCompute可以做什么,计费模式如何,想必大家也开通了MaxCompute想进行一次POC,但是大家遇到第一个问题一定是我的数据如何上云?

SQL Cost

可通过多种方式数据流入MaxCompute

MaxCompute(原ODPS)提供了多种通道数据可以流入MaxCompute,包括MaxCompute原生的Tunnel,以及阿里云体系内的Log、DataX和数据集成,以及开源生态中的Flume、Logstash和Fluentd。以下为大家一一道来,大家视各自情况进行选择。

① MaxCompute Tunnel命令

直接在MaxCompute客户端中使用Tunnel命令进行数据上传,数据在传输过程中都是加密传输的,适用于一次性批量数据导入。

注意的是每一次上传只支持数据上传到一个表或表的一个分区,有分区的表一定要指定上传的分区。

数据上传命令如下:

tunnel upload log.txt test_project.test_table/p1="b1",p2="b2";

如何配置客户端和使用命令:

  1. 下载并配置客户端
  2. Tunnel 命令导入数据
  3. 更多关于Tunnel upload命令

SQL Cost

② MaxCompute Tunnel SDK

通过 TUNNEL 提供的 SDK 自行编写 Java 工具。

关于如何利用 tunnel SDK 进行上传数据,下面也将通过场景介绍。场景描述:上传数据到 MaxCompute,其中,项目空间为”odps_public_dev”,表名为”tunnel_sample_test”,分区为”pt=20150801,dt=hangzhou”。

详细的Tunnel SDK案例教学

③ LOG(阿里云日志分析产品)

了解更多关于日志分析产品

日志服务(Log Service,简称 Log)是针对日志类数据的一站式服务,在阿里巴巴集团经历大量大数据场景锤炼而成。您无需开发就能快捷完成日志数据采集(Logtail)、消费、投递(LogShipper)以及查询分析(LogSearch)等功能,提升运维、运营效率,建立 DT 时代海量日志处理能力。

SQL Cost

通常情况下,在使用开源的产品时都需要自己写正则来进行日志采集和结构化,通过Log产品可以进行可视化取词来选择自己需要解析的字段值,同时也提供手工方式输入正则表达式,如下图:

SQL Cost

在大家场景中,尝尝需要将日志进行实时采集,然后归档到MaxCompute进行数据分析与挖掘,Log产品覆盖了: Nginx, Apache, Log4J ,Wordpress , Python, NodeJS, 分隔符 (Delimiter, 如 CSV、TSV 等格式)、logstash , ThinkPHP, IIS(Windows 平台,默认格式)/logstash等。>>>常见日志格式

SQL Cost

大部分情况下日志数据在写入LogStore后的0.5~1个小时导入到MaxCompute,具体归档的帮助文档详见:>>>Log数据归档到MaxCompute

点击进入:更多关于Log产品使用指南

④ DTS-数据传输

数据传输(Data Transmission)服务DTS是阿里云提供的一种支持RDBMS(关系型数据库)、NoSQL、OLAP等多种数据源之间数据交互的数据服务。它提供了数据迁移、实时数据订阅及数据实时同步等多种数据传输能力。

  • 创建RDS for Mysql数据实时同步到MaxCompute,实现原理如下:

SQL Cost

如上图所示,整个同步过程分为两步:

  1. 全量初始化, 这个步骤将RDS MySQL中已经存在的全量数据初始化到MaxCompute中。对于同步的每个表,全量初始化的数据都会独立存储在MaxCompute中的全量基线表中,这个表的默认格式为:源表名_base。例如表 t1,那么全量基线表在MaxCompute中存储的表名为:t1_dts_base。这个存储表名前缀可以根据需要变更,您可以在配置任务时,修改表在MaxCompute存储的名称。
  2. 增量数据同步,这个步骤将RDS MySQL产生的增量数据数据实时同步到MaxCompute中。并存储在增量日志表中,每个同步表对应一个增量日志表。增量日志表在MaxCompute中存储的表名的默认格式为:源表名_log。这个存储表名前缀可以根据需要变更,您可以在配置任务时,修改表在MaxCompute存储的名称。

只支持表的同步,不支持其他非表对象如视图的同步。

建议大家可以尝试下使用DTS来做数据的增量同步。具体详细的操作文档详见:创建RDS到MaxCompute数据实时同步作业

⑤ 开源产品:Flume / Logstash / Fluentd

目前开源产品都是提供output插件将数据写入DataHub(目前免费公测中)再数据归档到MaxCompute上。如下图:

SQL Cost

个人觉得这几款开源产品与阿里云自研的Log日志分析产品在日志采集上类似,但是Flume、Logstash、Fluentd需要一定技术能力的同学方可快速上手,需要手动编写日志格式化的正则表达式,在这一点上,让一些新手趋之若鹜。大家可以考虑下Log直接上手。

  • Apache Flume是一个分布式的、可靠的、可用的系统,可用于从不同的数据源中高效地收集、聚合和移动海量日志数据到集中式数据存储系统,支持多种Source和Sink插件。Apache Flume的Datahub Sink插件将日志数据实时上传到Datahub。具体操作详见:通过Flume采集数据至MaxCompute
  • Logstash是一种分布式日志收集框架,非常简洁强大,经常与ElasticSearch,Kibana配置,组成著名的ELK技术栈,非常适合用来做日志数据的分析。 阿里云流计算为了方便用户将更多数据采集进入DataHub,提供了针对Logstash的DataHub Output/Input插件。具体操作详见:通过Logstash采集数据至MaxCompute
  • Fluentd也是大家经常接触到的分布式日志采集系统,该插件是基于Fluentd开发的输出插件,主要是将采集到的数据写入DataHub。该插件遵守Fluentd输出插件开发规范,安装方便,可以很方便地将采集得到的数据写到DataHub。具体操作详见:通过Fluentd采集数据至MaxCompute

SQL Cost

[总结]三款产品都是不错的选择,需要根据个人使用习惯进行选择,我自己也习惯使用Logstash所以也写过一些真是case的文章《构建网站日志实时运营大屏》,从日志采集-->Logstash采集-->DataHub技术栈。

⑥ DataX、数据集成(Data IDE数据采集)

之所以将DataX和Data IDE数据采集放在一起给大家介绍,是因为两者之间密不可分,但是又有着巨大差别。

  • DataX阿里巴巴集团内被广泛使用的离线数据同步工具/平台,目前已经开源DataX。具体使用可以详见:DataX配置及使用,如下图:

SQL Cost

  • Data IDE是基于MaxCompute之上的大数据开发套件,其中数据采集模块完美的支持了DataX的所有数据通道。可以进入详细了解:数据采集模块

SQL Cost

【相同点】:Data IDE数据采集模块是基于DataX平台之前构建的可视化配置+调度系统,支持的数据通道完全一致。【不同点】:DataX需要自己本机或服务器上配置josn文件和自己编写crontab进行调度运维。

建议:大家直接使用 大数据开发套件-数据采集工具,因为大数据开发套件Data IDE提供了一整套的数据仓库工具解决方案,从数据采集到数据加工以及后续的调度运维等。关键是免费!免费!免费!

* 支持的数据通道:
数据源分类 数据源类型 抽取(Reader) 导入(Writer) 支持方式 支持类型
大数据存储 MaxCompute(对应数据源名称是 ODPS) 支持 支持 向导/脚本 阿里云
大数据存储 AnalyticDB(对应数据源名称ADS) 不支持 支持 向导/脚本 阿里云
关系型数据库 MySQL 支持 支持 向导/脚本 阿里云/自建
关系型数据库 SQL Server 支持 支持 向导/脚本 阿里云/自建
关系型数据库 PostgreSQL 支持 支持 向导/脚本 阿里云/自建
关系型数据库 Oracle 支持 支持 向导/脚本 自建
关系型数据库 DRDS 支持 支持 向导/脚本 阿里云
关系型数据库 DB2 支持 支持 脚本 自建
关系型数据库 达梦(对应数据源名称是 dm) 支持 支持 脚本 自建
关系型数据库 RDS for PPAS 支持 支持 脚本 阿里云
MPP HybridDB for MySQL 支持 支持 向导/脚本 阿里云
MPP HybridDB for PostgreSQL 支持 支持 向导/脚本 阿里云
非结构化存储 OSS 支持 支持 向导/脚本 阿里云
非结构化存储 HDFS 支持 支持 脚本 自建
非结构化存储 FTP 支持 支持 向导/脚本 自建
NoSql HBase 支持 支持 脚本 阿里云/自建
NoSql MongoDB 支持 支持 脚本 阿里云/自建
NoSql Memcache 不支持 支持 脚本 阿里云/自建Memcached
NoSql Table Store(对应数据源名称是OTS) 支持 支持 脚本 阿里云
NoSql LogHub 不支持 支持 脚本 阿里云
NoSql OpenSearch 不支持 支持 脚本 阿里云
NoSql Redis 不支持 支持 脚本 阿里云/自建
性能测试 Stream 支持 支持 脚本

【云栖快讯】云栖专辑 | 阿里开发者们的第20个感悟:好的工程师为人写代码,而不仅是为编译器  详情请点击

网友评论

1F
阳春白雪08

阿里云优惠券分享给你,
https://promotion.aliyun.com/ntms/act/ambassador/sharetouser.html?userCode=ecw04enl&utm_source=ecw04enl
用优惠券购买或者升级阿里云相应产品会有特惠惊喜哦!把想要买的产品的幸运券都领走吧!快下手,马上就要抢光了。 注意在手机上下订单不能使用优惠券的哦。