备案控制台
探索云世界
开发者社区 大数据与机器学习 大数据计算 MaxCompute 文章 正文

MaxCompute上如何处理非结构化数据

2016-10-12 12835
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 0. 前言 MaxCompute作为阿里云大数据平台的核心计算组件，拥有强大的计算能力，能够调度大量的节点做并行计算，同时对分布式计算中的failover，重试等均有一套行之有效的处理管理机制。 而MaxCompute SQL能在简明的语义上实现各种数据处理逻辑，在集团内外更是广为应用，在其上实现

0. 前言

MaxCompute作为阿里云大数据平台的核心计算组件，拥有强大的计算能力，能够调度大量的节点做并行计算，同时对分布式计算中的failover，重试等均有一套行之有效的处理管理机制。 而MaxCompute SQL能在简明的语义上实现各种数据处理逻辑，在集团内外更是广为应用，在其上实现与各种数据源的互通，对于打通整个阿里云的数据生态具有重要意义。基于这一点，最近MaxCompute团队依托MaxCompute2.0系统架构，引入了非结构化数据处理框架：通过外部表，为各种数据在MaxCompute上的计算处理提供了入口。这里以MaxCompute处理存储在OSS上的数据为例，介绍这些新功能。

现阶段MaxCompute SQL面对的主要是以cfile列格式，存储在内部MaxCompute表格中的结构化数据。而对于MaxCompute表外的各种用户数据（包括文本以及各种非结构化的数据），需要首先通过各种工具导入MaxCompute表，才能在其上面进行计算。这个数据导入的过程，具有较大的局限性。以OSS为例子，想要在MaxCompute里处理OSS上的数据，通常有两种做法：

  1. 通过OSS SDK或者其他工具从OSS下载数据，然后再通过MaxCompute Tunnel将数据导入表里。
  2. 写UDF，在UDF里直接调用OSS SDK访问OSS数据。

但这两种做法都不够好。#1需要在MaxCompute系统外部做一次中转，如果OSS数据量太大，还需要考虑如何并发来加速，无法充分利用MaxCompute大规模计算的能力；#2通常需要申请UDF网络访问权限，还要开发者自己控制作业并发数和数据如何分片的问题。

本文介绍了一种外部表的功能 ，支持旨在提供处理除了MaxCompute现有表格以外的其他数据的能力。在这个框架中，通过一条简单的DDL语句，即可在MaxCompute上创建一张外部表，建立MaxCompute表与外部数据源的关联，提供各种数据的接入和输出能力。创建好的外部表可以像普通的MaxCompute表一样使用（大部分场景），充分利用MaxCompute SQL的强大计算功能。

这里的“各种数据”涵盖两个维度：

  1. 多样的数据存储介质

插件式的框架可以对接多种数据存储介质，比如OSS、OTS

  1. 多样的数据格式：MaxCompute表是结构化的数据，而外部表可以不限于结构化数据

    1. 完全无结构数据；比如图像，音频，视频文件，raw binaries等
    2. 半结构化数据；比如csv,tsv等隐含一定schema的文本文件
    3. 非cfile的结构化数据； 比如orc/parquet文件，甚至hbase/OTS数据

下面通过一个简单例子，来演示如何在MaxCompute上轻松访问OSS上的数据。

1. 使用内置extractor读取OSS数据

使用MaxCompute内置的extractor，可以非常方便的读取按照约定格式存储的OSS数据。我们只需要创建一个外部表，就能以这张表为源表做查询。假设有一份csv数据存在OSS上，endpoint为oss-cn-hangzhou-zmf.aliyuncs.com，bucket为oss-odps-test，数据文件放在/demo/SampleData/CSV/AmbulanceData/vehicle.csv。

1.1 创建外部表

首先需要在RAM中授权MaxCompute访问OSS的权限。登录RAM控制台，创建角色AliyunODPSDefaultRole，并将策略内容设置为：

{
  "Statement": [
    {
      "Action": "sts:AssumeRole",
      "Effect": "Allow",
      "Principal": {
        "Service": [
          "odps.aliyuncs.com"
        ]
      }
    }
  ],
  "Version": "1"
}

然后编辑该角色的授权策略，将权限AliyunODPSRolePolicy授权给该角色。

如果觉得这些步骤太麻烦，可以点击此处完成一键授权。

执行一条DDL语句，创建外部表：


CREATE EXTERNAL TABLE IF NOT EXISTS ambulance_data_csv_external
(
vehicleId int,
recordId int,
patientId int,
calls int,
locationLatitute double,
locationLongtitue double,
recordTime string,
direction string
)
STORED BY 'com.aliyun.odps.CsvStorageHandler' -- (2)
LOCATION 'oss://oss-cn-hangzhou-zmf.aliyuncs.com/oss-odps-test/Demo/SampleData/CSV/AmbulanceData/'; -- (3)(4)(5)

注释：

  1. 这个功能是MaxCompute2.0的一部分，目前处于试用状态。这里需要提前设置一些开关来临时打开这个功能（这个开关设置前需要申请试用MaxCompute2.0，文章末尾有介绍），本文后面所有的SQL例子语句运行前都需要设置这些开关，为了便于阅读，我只在这里明确写出。
  2. com.aliyun.odps.CsvStorageHandler是内置的处理csv格式文件的StorageHandler，它定义了如何读写csv文件。我们只需要指明这个名字，相关逻辑已经由系统实现。
  3. LOCATION必须指定一个OSS目录，默认系统会读取这个目录下所有的文件。
  4. 外部表只是在系统中记录了与OSS目录的关联，当DROP这张表时，对应的LOCATION数据不会被删除。
  5. 前面我们已经通过RAM将账号中的OSS资源访问权限授权给了MaxCompute。在后续的访问OSS过程中，MaxCompute将通过STS拿到对OSS资源的临时权限。需要注意的是，MaxCompute在获取权限时，是以表的创建者的身份去STS申请的，因此，这里创建表的账号和OSS必须是同一个云账号，而且必须是主账号，不能是子账号。

1.2 查询外部表

外部表创建成功后，我们可以像对普通表一样使用这个外部表。

假设/demo/SampleData/CSV/AmbulanceData/vehicle.csv数据为：

1,1,51,1,46.81006,-92.08174,9/14/2014 0:00,S
1,2,13,1,46.81006,-92.08174,9/14/2014 0:00,NE
1,3,48,1,46.81006,-92.08174,9/14/2014 0:00,NE
1,4,30,1,46.81006,-92.08174,9/14/2014 0:00,W
1,5,47,1,46.81006,-92.08174,9/14/2014 0:00,S
1,6,9,1,46.81006,-92.08174,9/14/2014 0:00,S
1,7,53,1,46.81006,-92.08174,9/14/2014 0:00,N
1,8,63,1,46.81006,-92.08174,9/14/2014 0:00,SW
1,9,4,1,46.81006,-92.08174,9/14/2014 0:00,NE
1,10,31,1,46.81006,-92.08174,9/14/2014 0:00,N

执行：

SELECT recordId, patientId, direction
FROM ambulance_data_csv_external
WHERE patientId > 25;

这条语句会提交一个作业，调用内置csv extractor，从OSS读取数据进行处理。

结果：

+------------+------------+-----------+
| recordId   | patientId  | direction |
+------------+------------+-----------+
| 1          | 51         | S         |
| 3          | 48         | NE        |
| 4          | 30         | W         |
| 5          | 47         | S         |
| 7          | 53         | N         |
| 8          | 63         | SW        |
| 10         | 31         | N         |
+------------+------------+-----------+

2. 自定义extractor

当OSS中数据格式比较复杂，内置的extractor无法满足需求时，需要自定义extractor来读取OSS文件中的数据。

例如有一个text数据文件，并不是csv格式，记录之间的列通过|分割。/demo/SampleData/CustomTxt/AmbulanceData/vehicle.csv数据为：

1|1|51|1|46.81006|-92.08174|9/14/2014 0:00|S
1|2|13|1|46.81006|-92.08174|9/14/2014 0:00|NE
1|3|48|1|46.81006|-92.08174|9/14/2014 0:00|NE
1|4|30|1|46.81006|-92.08174|9/14/2014 0:00|W
1|5|47|1|46.81006|-92.08174|9/14/2014 0:00|S
1|6|9|1|46.81006|-92.08174|9/14/2014 0:00|S
1|7|53|1|46.81006|-92.08174|9/14/2014 0:00|N
1|8|63|1|46.81006|-92.08174|9/14/2014 0:00|SW
1|9|4|1|46.81006|-92.08174|9/14/2014 0:00|NE
1|10|31|1|46.81006|-92.08174|9/14/2014 0:00|N

2.1 定义Extractor

这个时候可以写一个通用的extractor，将分隔符作为参数传进来，可以处理所有类似格式的text文件。

/**
 * Text extractor that extract schematized records from formatted plain-text(csv, tsv etc.)
 **/
public class TextExtractor extends Extractor {

  private InputStreamSet inputs;
  private String columnDelimiter;
  private DataAttributes attributes;
  private BufferedReader currentReader;
  private boolean firstRead = true;

  public TextExtractor() {
    // default to ",", this can be overwritten if a specific delimiter is provided (via DataAttributes)
    this.columnDelimiter = ",";
  }

  // no particular usage for execution context in this example
  @Override
  public void setup(ExecutionContext ctx, InputStreamSet inputs, DataAttributes attributes) {
    this.inputs = inputs; // (1)
    this.attributes = attributes;
    // check if "delimiter" attribute is supplied via SQL query
    String columnDelimiter = this.attributes.getValueByKey("delimiter"); // (2)
    if ( columnDelimiter != null)
    {
      this.columnDelimiter = columnDelimiter;
    }
    // note: more properties can be inited from attributes if needed
  }

  @Override
  public Record extract() throws IOException {
    String line = readNextLine();
    if (line == null) {
      return null; // (5)
    }
    return textLineToRecord(line); // (3)(4)
  }

  @Override
  public void close(){
    // no-op
  }
}
  1. inputs是一个InputStreamSet，每次调用next()返回一个InputStream，这个InputStream可以读取一个OSS文件的所有内容。
  2. delimiter通过DDL语句传参
  3. textLineToRecord将一行数据按照delimiter分割为多个列，完整实现可以参考: https://github.com/aliyun/aliyun-odps-java-sdk/blob/master/odps-sdk-impl/odps-udf-example/src/main/java/com/aliyun/odps/udf/example/text/TextExtractor.java
  4. extactor()调用返回一条Record，代表外部表中的一条记录
  5. 返回null来表示这个表中已经没有记录可读了

2.2 定义StorageHandler

StorageHandler作为external table自定义逻辑的统一入口。


package com.aliyun.odps.udf.example.text;

public class TextStorageHandler extends OdpsStorageHandler {

  @Override
  public Class<? extends Extractor> getExtractorClass() {
    return TextExtractor.class;
  }

  @Override
  public Class<? extends Outputer> getOutputerClass() {
    return TextOutputer.class;
  }
}

2.3 编译打包

将自定义代码编译打包，并上传到MaxCompute。

add jar odps-udf-example.jar;

2.4 创建external表

与使用内置extractor类似，我们同样需要建立一个外部表，不同的是这次需要指定外部表访问数据的时候，使用自定义的StorageHandler。

CREATE EXTERNAL TABLE IF NOT EXISTS ambulance_data_txt_external
(
vehicleId int,
recordId int,
patientId int,
calls int,
locationLatitute double,
locationLongtitue double,
recordTime string,
direction string
)
STORED BY 'com.aliyun.odps.udf.example.text.TextStorageHandler' -- (1)
WITH SERDEPROPERTIES(
  'delimiter'='|'  --(2)
LOCATION 'oss://oss-cn-hangzhou-zmf.aliyuncs.com/oss-odps-test/Demo/SampleData/CustomTxt/AmbulanceData/'
USING 'odps-udf-example.jar'; --(3)
  1. STORED BY指定自定义StorageHandler的类名
  2. SERDEPROPERITES可以指定参数，这些参数会通过DataAttributes传递到Extractor代码中
  3. 同时需要指定类定义所在的jar包

2.5 查询外部表

执行：

SELECT recordId, patientId, direction
FROM ambulance_data_txt_external
WHERE patientId > 25;

这条语句会提交一个作业，调用自定义的extractor，从OSS读取数据进行处理。

结果：

+------------+------------+-----------+
| recordId   | patientId  | direction |
+------------+------------+-----------+
| 1          | 51         | S         |
| 3          | 48         | NE        |
| 4          | 30         | W         |
| 5          | 47         | S         |
| 7          | 53         | N         |
| 8          | 63         | SW        |
| 10         | 31         | N         |
+------------+------------+-----------+

3. 通过自定义extractor读取外部非结构化数据

在前面我们看到了通过内置与自定义的extractor可以轻松处理存储在OSS上的csv等文本数据。接下来我们以语音数据(wav格式文件)为例，来看看怎样通过自定义的extractor来访问处理OSS上的非文本文件。

这里我们从最终执行的SQL query开始，介绍以MaxCompute SQL为入口，处理存放在OSS上的语音文件的使用方法：

CREATE EXTERNAL TABLE IF NOT EXISTS speech_sentence_snr_external
(
sentence_snr double,
id string
)
STORED BY 'com.aliyun.odps.udf.example.speech.SpeechStorageHandler'
WITH SERDEPROPERTIES (
    'mlfFileName'='sm_random_5_utterance.text.label' ,
    'speechSampleRateInKHz' = '16'
)
LOCATION 'oss://oss-cn-hangzhou-zmf.aliyuncs.com/oss-odps-test/dev/SpeechSentenceTest/'
USING 'odps-udf-example.jar,sm_random_5_utterance.text.label';
SELECT sentence_snr, id
    FROM speech_sentence_snr_external
WHERE sentence_snr > 10.0;

这里我们依然建立的外部表，并且通过外部表的schema定义了我们希望通过外部表从语音文件中抽取出来的信息:

  1. 一个语音文件中的语句信噪比（SNR）：sentence_snr
  2. 对应语音文件的名字：id

创建了外部表后，通过标准的select语句进行查询，则会触发extractor运行计算。

从这我们可以更直接的感受到，在读取处理OSS数据时，除了之前介绍过的对文本文件做简单的反序列化处理，还可以通过在自定义的extractor中实现更复杂的数据处理抽取逻辑：在这个例子中，我们通过自定义的com.aliyun.odps.udf.example.speech. SpeechStorageHandler 中封装的extractor, 实现了对语音文件计算平均有效语句信噪比的功能，并将抽取出来的结构化数据直接进行SQL运算（WHERE sentence_snr > 10）, 最终返回所有信噪比大于10的语音文件以及对应的信噪比值。

在OSS地址oss://oss-cn-hangzhou-zmf.aliyuncs.com/oss-odps-test/dev/SpeechSentenceTest/上，存储了原始的多个wav格式的语音文件，MaxCompute 框架将读取该地址上的所有文件，并在必要的时候进行文件级别的分片，自动将文件分配给多个计算节点处理。每个计算节点上的extractor则负责处理通过InputStreamSet分配给该节点的文件集。具体的处理逻辑则与用户单机程序相仿，用户不用关心分布计算中的种种细节，按照类单机方式实现其用户算法即可。

这里简单介绍一下定制化的SpeechSentenceSnrExtractor主体逻辑。首先我们在setup接口中读取参数，进行初始化，并且导入语音处理模型（通过resource引入）:

  public SpeechSentenceSnrExtractor(){
    this.utteranceLabels = new HashMap<String, UtteranceLabel>();
  }

  @Override
  public void setup(ExecutionContext ctx, InputStreamSet inputs, DataAttributes attributes){
    this.inputs = inputs;
    this.attributes = attributes;
    this.mlfFileName = this.attributes.getValueByKey(MLF_FILE_ATTRIBUTE_KEY);
    String sampleRateInKHzStr = this.attributes.getValueByKey(SPEECH_SAMPLE_RATE_KEY);
    this.sampleRateInKHz = Double.parseDouble(sampleRateInKHzStr);
    try {
      // read the speech model file from resource and load the model into memory
      BufferedInputStream inputStream = ctx.readResourceFileAsStream(mlfFileName);
      loadMlfLabelsFromResource(inputStream);
      inputStream.close();
    } catch (IOException e) {
      throw new RuntimeException("reading model from mlf failed with exception " + e.getMessage());
    }
  }

extractor()接口中，实现了对语音文件的具体读取和处理逻辑，对读取的数据根据语音模型进行信噪比的计算，并且将结果填充成[snr, id]格式的Record。
这个例子中对实现进行了简化，同时也没有包括涉及语音处理的算法逻辑，具体实现可参见：
https://github.com/aliyun/aliyun-odps-java-sdk/blob/master/odps-sdk-impl/odps-udf-example/src/main/java/com/aliyun/odps/udf/example/speech/SpeechSentenceSnrExtractor.java

  @Override
  public Record extract() throws IOException {
    SourceInputStream inputStream = inputs.next();
    if (inputStream == null){
      return null;
    }
    // process one wav file to extract one output record [snr, id]
    String fileName = inputStream.getFileName();
    fileName = fileName.substring(fileName.lastIndexOf('/') + 1);
    logger.info("Processing wav file " + fileName);
    String id = fileName.substring(0, fileName.lastIndexOf('.'));

    // read speech file into memory buffer
    long fileSize = inputStream.getFileSize();
    byte[] buffer = new byte[(int)fileSize];
    int readSize = inputStream.readToEnd(buffer);
    inputStream.close();

    // compute the avg sentence snr
    double snr = computeSnr(id, buffer, readSize);

    // construct output record [snr, id]
    Column[] outputColumns = this.attributes.getRecordColumns();
    ArrayRecord record = new ArrayRecord(outputColumns);
    record.setDouble(0, snr);
    record.setString(1, id);
    return record;
  }

  private void loadMlfLabelsFromResource(BufferedInputStream fileInputStream)
          throws IOException {
    //  skipped here
  }

  // compute the snr of the speech sentence, assuming the input buffer contains the entire content of a wav file
  private double computeSnr(String id, byte[] buffer, int validBufferLen){
    // computing the snr value for the wav file (supplied as byte buffer array), skipped here
  }

执行一开始的SQL语句，可获得计算结果：

--------------------------------------------------------------
| sentence_snr |                     id                      |
--------------------------------------------------------------
|   34.4703    |          J310209090013_H02_K03_042          |
--------------------------------------------------------------
|   31.3905    | tsh148_seg_2_3013_3_6_48_80bd359827e24dd7_0 |
--------------------------------------------------------------
|   35.4774    | tsh148_seg_3013_1_31_11_9d7c87aef9f3e559_0  |
--------------------------------------------------------------
|   16.0462    | tsh148_seg_3013_2_29_49_f4cb0990a6b4060c_0  |
--------------------------------------------------------------
|   14.5568    |   tsh_148_3013_5_13_47_3d5008d792408f81_0   |
--------------------------------------------------------------

可以看到，通过自定义extractor，我们在SQL语句上即可分布式地处理多个OSS上语音数据文件。同样的，用类似的方法，我们可以方便的利用MaxCompute的大规模计算能力，完成对图像，视频等各种类型非结构化数据的处理。

4. 数据的分区

在前面的例子中，一个外部表关联的数据通过LOCATION上指定的OSS“目录”来实现，而在处理的时候，MaxCompute对读取“目录”下面的所有数据，包括子目录中的所有文件。在数据量比较大，尤其是对于随着时间不断积累的数据目录，这样子的全目录扫描，可能带来不必要的额外IO以及数据处理时间。 解决这个问题通常有两种做法：

  • 比较直接的减少访问数据量的方法是用户自己负责对数据存放地址做好规划，同时考虑使用多个EXTERNAL TABLE来描述不同部分的数据，让每个EXTERNALTABLE的LOCATION指向数据的一个子集。
  • 另一个方面，EXTERNAL TABLE与内部表一样，支持分区表的功能，用户可以利用这个功能来对数据做系统化的管理。这个章节主要介绍一下EXTERNAL TABLE的分区功能。

4.1 分区数据在OSS上的标准组织方式和路径格式

与MaxCompute内部表不同，对于存放在外部存储上(如OSS)上面的数据，MaxCompute不拥有数据的管理权，所以用户如果希望系统的使用分区表功能的话，在OSS上的数据文件的存放路径应该符合一定的格式，具体说来就是路径为如下格式：

partitionKey1=value1\partitionKey2=value2\...

举一个例子，假设用户每天的LOG文件存放在OSS上面，然后希望能在通过MaxCompute处理的时候，能够按照粒度为“天”来访问一部分数据。简单假设这些LOG文件就是CSV的格式（复杂自定义格式用法也类似），那么可以使用如下的分区外部表来定义数据：

CREATE EXTERNAL TABLE log_table_external (
    click STRING,
    ip STRING,
    url STRING,
  )
  PARTITIONED BY (
    year STRING,
    month STRING,
    day STRING
  )
  STORED BY 'com.aliyun.odps.CsvStorageHandler'
  LOCATION 'oss://<ak_id>:<ak_key>@oss-cn-hangzhou-zmf.aliyuncs.com/oss-odps-test/log_data/';

可以看到，这里和前面的例子不一样的主要就是在定义EXTERNAL TABLE的时候，我们通过PARTITIONED BY的语法，来指定该外部表为分区表，这里举了一个三层分区的例子，分区的key分别是 year， month 和 day。为了让这样的分区能生效，在OSS上面存储数据的时候需要遵循上面提到的路径格式。这里举一个有效的路径存储layout的例子:

osscmd ls oss://oss-odps-test/log_data/

2017-01-14 08:03:35 128MB Standard oss://oss-odps-test/log_data/year=2016/month=06/day=01/logfile
2017-01-14 08:04:12 127MB Standard oss://oss-odps-test/log_data/year=2016/month=06/day=01/logfile.1
2017-01-14 08:05:02 118MB Standard oss://oss-odps-test/log_data/year=2016/month=06/day=02/logfile
2017-01-14 08:06:45 123MB Standard oss://oss-odps-test/log_data/year=2016/month=07/day=10/logfile
2017-01-14 08:07:11 115MB Standard oss://oss-odps-test/log_data/year=2016/month=08/day=08/logfile
...

需要再次强调的，因为用户自己离线准备了数据，即通过osscmd或者其他OSS工具自行上载到OSS存储服务上，所以数据路径格式是由用户决定的，如果想要EXTERNAL TABLE的分区表功能正常工作的话，我们推荐用户上载数据的时候遵循如上路径格式。在这个前提下，通过ALTER TABLE ADD PARTITIONDDL语句，就可以把这些分区信息引入MaxCompute。在这里对应的DDL语句是：

ALTER TABLE log_table_external ADD PARTITION (year = '2016', month = '06', day = '01')
ALTER TABLE log_table_external ADD PARTITION (year = '2016', month = '06', day = '02')
ALTER TABLE log_table_external ADD PARTITION (year = '2016', month = '07', day = '10')
ALTER TABLE log_table_external ADD PARTITION (year = '2016', month = '08', day = '08')
...

事实上这些操作都和标准的MaxCompute内部表操作一样，对分区表概念不熟悉的可以参考文档。在数据准备好并且PARTITION信息引入系统之后，就可以通过SQL语句来对OSS上的外表数据的分区进行操作了。

比如如果只想分析2016年6月1号当天，有多少不同的IP出现在LOG里面，可以通过如下语句实现：

SELECT count(distinct(ip)) FROM log_table_external 
WHERE year = '2016' AND month = '06' AND day = '01';

这种情况下, 对log_table_external这个外表对应的目录,将只访问log_data/year=2016/month=06/day=01子目录下的文件(logfile和logfile.1), 而不会对整个log_data/目录作全量数据扫描，避免大量无用的IO操作。

同样如果只希望对2016年下半年的数据做分析, 则可以通过

SELECT count(distinct(ip)) FROM log_table_external 
WHERE year = '2016' AND month > '06';

来只访问OSS上面存储的下半年的LOG数据.

4.2 分区数据在OSS上的自定义路径

如果用户已经有事先存在OSS上面的历史数据，但是又不是根据partitionKey1=value1\partitionKey2=value2\...的路径格式来组织存放的，那也是可以通过MaxCompute的分区方式来进行访问计算的。虽然通常情况下不这样推荐，但是在非结构化数据处理这方面，MaxCompute同样提供了通过自定义路径来引入partition的方法。

比如假设用户的数据路径上只有简单的分区值（而无分区key信息）,也就是数据的layout为：

osscmd ls oss://oss-odps-test/log_data_customized/

2017-01-14 08:03:35 128MB Standard oss://oss-odps-test/log_data_customized/2016/06/01/logfile
2017-01-14 08:04:12 127MB Standard oss://oss-odps-test/log_data_customized/2016/06/01/logfile.1
2017-01-14 08:05:02 118MB Standard oss://oss-odps-test/log_data_customized/2016/06/02/logfile
2017-01-14 08:06:45 123MB Standard oss://oss-odps-test/log_data_customized/2016/07/10/logfile
2017-01-14 08:07:11 115MB Standard oss://oss-odps-test/log_data_customized/2016/08/08/logfile
...

那么要绑定不同的子目录到不同的分区上，可以通过类似如下自定义分区路径的DDL语句实现：

ALTER TABLE log_table_external ADD PARTITION (year = '2016', month = '06', day = '01')
LOCATION 'oss://<ak_id>:<ak_key>@oss-cn-hangzhou-zmf.aliyuncs.com/oss-odps-test/log_data_customized/2016/06/01/';

在ADD PARTITION的时候增加了LOCATION信息，从而实现自定义分区数据路径后，即使数据存放不符合推荐的partitionKey1=value1\partitionKey2=value2\...格式，也能正确的实现对子目录数据的分区访问了。

4.3 完全自定义的非分区数据子集访问

最后在一些特殊情况下，用户可能会有访问某个OSS路径上的任意文件子集的需求，而这个文件子集中的文件在路径格式上没有明显的规律性。在这方面MaxCompute非结构化数据处理框架也提供了相应的支持，但是在这里不展开做介绍了。如果对于这些高阶的特殊用法，有详细的具体需求和场景描述的话，可以联系MaxCompute技术团队。

5. 结语

MaxCompute上增添处理非结构化数据的能力，能够有效的利用MaxCompute框架上成熟的大规模计算资源，处理来自各种数据源上的数据，从而真正实现数据计算互通。随着MaxCompute 2.0框架的逐步上线，这些新功能将为集团内外用户提供更多的计算价值。目前对于OSS数据的读取计算功能，在集团内一些急需大规模非结构化数据处理能力的团队中已经使用。MaxCompute团队将进一步完善相关功能，并且提供对更多数据源的支持，例如TableStore(OTS)等。后继我们也会在ATA上做更多的介绍。

本文介绍的内容为MaxCompute2.0的功能，欢迎扫描二维码加入钉钉群讨论：
maxcompute2_scan

文章标签：
云原生大数据计算服务 MaxCompute
对象存储
表格存储
分布式计算
MaxCompute
对象存储
SQL
存储
关键词：
云原生大数据计算服务 MaxCompute数据
云原生大数据计算服务 MaxCompute如何处理
云原生大数据计算服务 MaxCompute结构化
云原生大数据计算服务 MaxCompute结构化数据
云原生大数据计算服务 MaxCompute非结构化数据
相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景，如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品，是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法，从场景到实践，体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库，助力开发者学习了解先进的技术栈，并能在实际业务中敏捷的进行大数据分析，赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景，可应用MaxCompute实现数仓搭建，快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理，需要搭建数据仓库？学它！ 没有足够人员和经验来运维大数据平台，不想自建IDC买机器，需要免运维的大数据平台？会SQL就等于会大数据？学它！ 想知道大数据用得对不对，想用更少的钱得到持续演进的数仓能力？获得极致弹性的计算资源和更好的性能，以及持续保护数据安全的生产环境？学它！ 想要获得灵活的分析能力，快速洞察数据规律特征？想要兼得数据湖的灵活性与数据仓库的成长性？学它！ 出品人：阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps&nbsp;
kilowu
目录
相关文章
cuicuicuic
|
2月前
|
分布式计算 DataWorks IDE
MaxCompute数据问题之忽略脏数据如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构；本合集将提供MaxCompute数据的管理和优化指南，以及数据操作中的常见问题和解决策略。
cuicuicuic
47 0
cuicuicuic
|
2月前
|
SQL 存储 分布式计算
MaxCompute问题之下载数据如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构；本合集将提供MaxCompute数据的管理和优化指南，以及数据操作中的常见问题和解决策略。
cuicuicuic
38 0
cuicuicuic
|
2月前
|
分布式计算 关系型数据库 MySQL
MaxCompute问题之数据归属分区如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构；本合集将提供MaxCompute数据的管理和优化指南，以及数据操作中的常见问题和解决策略。
cuicuicuic
35 0
听风de歌
|
4天前
|
数据采集 搜索推荐 大数据
大数据中的人为数据
【4月更文挑战第11天】人为数据，源于人类活动，如在线行为和社交互动，是大数据的关键部分，用于理解人类行为、预测趋势和策略制定。数据具多样性、实时性和动态性，广泛应用于市场营销和社交媒体分析。然而，数据真实性、用户隐私和处理复杂性构成挑战。解决策略包括数据质量控制、采用先进技术、强化数据安全和培养专业人才，以充分发挥其潜力。
听风de歌
11 3
云栖战略参考
|
7天前
|
运维 供应链 大数据
数据之势丨从“看数”到“用数”，百年制造企业用大数据实现“降本增效”
目前，松下中国旗下的64家法人公司已经有21家加入了新的IT架构中，为松下集团在中国及东北亚地区节约了超过30%的总成本，减少了近50%的交付时间，同时，大幅降低了系统的故障率。
云栖战略参考
76 0
三分钟热度的鱼
|
1月前
|
分布式计算 DataWorks 关系型数据库
DataWorks报错问题之dataworks同步rds数据到maxcompute时报错如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台，支持数据集成、数据开发、数据治理等功能；在本汇总中，我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答，以助用户在数据处理和分析工作中提高效率，降低难度。
三分钟热度的鱼
24 0
张飞的猪
|
1月前
|
存储 监控 大数据
数据仓库(11)什么是大数据治理，数据治理的范围是哪些
什么是数据治理,数据治理包含哪些方面？大数据时代的到来，给了我们很多的机遇，也有很多的挑战。最基础的调整也是大数据的计算和管理，数据治理是一个特别重要的大数据基础，他保证着数据能否被最好的应用，保证着数据的安全，治理等。那么数据治理到底能治什么，怎么治？
张飞的猪
64 0
cuicuicuic
|
2月前
|
JSON 分布式计算 MaxCompute
MaxCompute问题之创建数据集失败如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构；本合集将提供MaxCompute数据的管理和优化指南，以及数据操作中的常见问题和解决策略。
cuicuicuic
33 0
cuicuicuic
|
2月前
|
存储 分布式计算 DataWorks
MaxCompute数据问题之数据不一致如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构；本合集将提供MaxCompute数据的管理和优化指南，以及数据操作中的常见问题和解决策略。
cuicuicuic
36 0
cuicuicuic
|
2月前
|
存储 分布式计算 DataWorks
MaxCompute数据之数据不一致如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构；本合集将提供MaxCompute数据的管理和优化指南，以及数据操作中的常见问题和解决策略。
cuicuicuic
26 0
大数据与机器学习

大数据计算 MaxCompute

热门文章

最新文章

  • 1
    如何充分发挥 SQL 能力
  • 2
    阿里云大数据计算平台的自动化、精细化运维之路
  • 3
    MaxCompute上你从未体验过的数据分析和机器学习过程
  • 4
    【最全合集】一文看尽 2019杭州云栖大会 MaxCompute 技术分享
  • 5
    Logstash + DataHub + MaxCompute/StreamCompute 进行实时数据分析
  • 6
    MaxCompute模板与样例
  • 7
    基于阿里云数加MaxCompute的企业大数据仓库架构建设思路
  • 8
    【大数据技巧】MaxCompute中实现IP地址归属地转换
  • 9
    阿里巴巴飞天大数据架构体系与Hadoop生态系统
  • 10
    “NASA”计划背后，阿里巴巴大数据系统架构概述
  • 1
    Kotlin 中如何使用 Fuel 库进行代理切换？
    17
  • 2
    常用的有限元网格生成方法
    90
  • 3
    MaxCompute( 原名ODPS)大数据容灾方案与实现（及项目落地实例）专有云
    277
  • 4
    MaxCompute( 原名ODPS)大数据容灾方案与实现（及项目落地实例）专有云
    94
  • 5
    MaxCompute 近实时增全量处理一体化新架构和使用场景介绍
    506
  • 6
    阿里云 MaxCompute MaxFrame 开启免费邀测，统一 Python 开发生态
    196
  • 7
    数仓学习---数仓开发之DWS层
    188
  • 8
    数据仓库(13)大数据数仓经典最值得阅读书籍推荐
    157
  • 9
    数据仓库(12)数据治理之数仓数据管理实践心得
    230
  • 10
    python数据分析——数据分析人员的基本道德要求
    127

    • 相关产品

  • 云原生大数据计算服务 MaxCompute
    文档详情 产品详情

    • 相关课程

    更多
  • 2020版大数据实战项目之DMP广告系统（第二阶段）
  • 2020版大数据实战项目之DMP广告系统（第三阶段）
  • 2020版大数据实战项目之DMP广告系统（第四阶段）
  • 2020版大数据实战项目之DMP广告系统（第五阶段）
  • 2020版大数据实战项目之DMP广告系统（第六阶段）
  • 2020版大数据实战项目之DMP广告系统（第七阶段）

    • 相关电子书

    更多
  • 大数据AI一体化的解读
  • 极氪大数据 Serverless 应用实践
  • 大数据&AI实战派 第2期

    • 相关实验场景

    更多
  • 基于Hologres轻松玩转一站式实时仓库
  • 数据湖构建DLF快速入门
  • 通过FastMR自动拉起大数据集群并运行TPCDS任务
  • 基于MaxCompute的热门话题分析
  • EMR数据湖开发治理之用户画像分析
  • 基于工具的数据探查
    • 下一篇
    阿里云oss简介和使用流程