实时计算Flink > 独享模式 > Batch(试用) > 创建源表 —— 创建OSS源表

  1. 云栖社区>
  2. 博客>
  3. 正文

实时计算Flink > 独享模式 > Batch(试用) > 创建源表 —— 创建OSS源表

李博 bluemind 2018-11-14 13:32:11 浏览968
展开阅读全文

创建OSS源表

OSS

阿里云对象存储服务(Object Storage Service),简称OSS。为您提供基于网络的数据存取服务。使用OSS,您可以通过网络随时存储和调用包括文本、图片、音频和视频等在内的各种非结构化数据文件。

Flink可以读取OSS上的各种结构化及非结构化文件进行计算,例如,


  1. create table oss_csv_source(
  2. a VARCHAR
  3. ) with (
  4. type = 'csv',
  5. path='oss://ossbucket/test.csv?accessKeyId=xxx&accessKeySecret=xxx&endpoint=http%3a%2f%2foss-cn-shanghai-internal.aliyuncs.com'
  6. )

With参数

OSS作为源表或目标表进行计算时,需要根据不同的文件类型指定参数。跟OSS相关的参数为pathfilePath。OSS文件路径格式为

oss://${osspath}/${ossFile}?accessKeyId=${accessID}&accessKeySecret=${accessKey}&endpoint=http%3a%2f%2f${OSSEndpoint}

读取OSS上Parquet文件示例如下。


  1. create table oss_parquet_source(
  2. x varchar,
  3. y varchar,
  4. z varchar
  5. ) with (
  6. type='parquet',
  7. filePath='oss://ossbucket/test.parquet?accessKeyId=xxx&accessKeySecret=xxx&endpoint=http%3a%2f%2foss-cn-shanghai-internal.aliyuncs.com'
  8. );

读取OSS上ORC文件示例如下。


  1. create table oss_parquet_source(
  2. x varchar,
  3. y varchar,
  4. z varchar
  5. ) with (
  6. type='parquet',
  7. filePath='oss://ossbucket/test.orc?accessKeyId=xxx&accessKeySecret=xxx&endpoint=http%3a%2f%2foss-cn-shanghai-internal.aliyuncs.com'
  8. );

本文转自实时计算——创建OSS源表

网友评论

登录后评论
0/500
评论