MaxCompute JDBC 2.0 beta中的一些变更说明

简介: 本文主要介绍了在MaxCompute JDBC 2.0 beta 之后就易用性方面对配置相关变更的说明

注:MaxCompute原名ODPS,是阿里云自研的大数据计算平台,文中出现的MaxCompute与ODPS都指代同一平台,不做区分

MaxCompute JDBC 2.0 beta 出于易用性的考虑,对配置相关的部分进行了一些变更,大致如下:

  • 添加了对日志配置的支持

新增了配置参数 log_conf_file 用一指定一个本地的配置文件来对日志功能进行定义。该日志功能利用了Java日志框架logback,所以指定的配置文件必须是一个与logback相兼容的配置文件。具体的配置方式见《手把手教你完成ODPS JDBC自定义日志配置》

  • 同化了URL及PROP参数名

之前JDBC的配置参数可以通过URL参数的方式传递,也可以在编程时通过Property的方式传递,且两种方式的参数Key是不同的,如下所示:

URL key Property Key Description
endpoint end_point the endpoint of the ODPS cluster
project project_name the current ODPS project
accessId access_id the id to access the ODPS service
accessKey access_key the authentication key
logview logview_host the host domain of the log view appeared in the log history
lifecycle lifecycle the lifecycle of the temp table using in query
charset charset the charset of the string
loglevel log_level the level of debug infomartion debug/info/fatal

为了便于记忆和使用,目前变更为在这两种方式中,以上两种Key将通用不作区分,且在两种Key同时存在的情况下,优先使用Property Key的入参。同时,如果在URL和Property中都传入同一参数(不区分Key的形式),将优先使用以Property方式传入的参数

  • 支持在JDBC URL中传入配置文件

之前在JDBC的URL串中传入参数时,存在一个麻烦的地方,即个别参数可能存在特殊字符。例如,有个别的access_key的末尾是以=结束的,这对URL参数的解析造成了干扰,唯一能做的就是需要用户提前对这些参数的值进行url encoding.

为了避免这种情况发生,目前支持在URL串上直接传入配置文件,如下:

jdbc:odps:http://10.101.xx.xx/api?odps_config=/Users/emerson/odps_config.ini

我们支持在URL上传入 odps_config 作为指定本地配置文件路径的参数。其中odps_config.ini的内容如下,就是简单的键值对:

 project_name=odps_dev
 access_id=63wd3dpztlmb5ocdkj94pxmm
 access_key=xxxxxxxxx=
 log_conf_file=/Users/emerson/logback.xml
 ...

这些参数的Key与之前URL或Property的方式一致,且含有特殊字符的值也无须转义。

这里需要注意的是, odps_config 参数只支持以URL参数的方式传入,不支持Property的方式传入。一旦传递了该配置文件,将忽略所有通过URL或Property传入的参数。

另一点需要注意的是即使你在配置文件中指定了end_point,MaxCompute JDBC仍将使用JDBC URL串中的地址作为end_point,即http://10.101.xx.xx/api

欢迎加入MaxCompute钉钉群讨论

03ea92a4c1fbb04d443ff8f015c957815055111e

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
6月前
|
SQL Java 大数据
Hive实战(03)-深入了解Hive JDBC:在大数据世界中实现数据交互
Hive实战(03)-深入了解Hive JDBC:在大数据世界中实现数据交互
192 1
|
6月前
|
SQL 前端开发 Java
大数据平台底层技术-JAVA篇-如何动态加载不同版本的 HIVE JDBC 驱动 - 一文读懂JAVA的类加载机制 1
大数据平台底层技术-JAVA篇-如何动态加载不同版本的 HIVE JDBC 驱动 - 一文读懂JAVA的类加载机制
|
6月前
|
SQL 安全 Java
开启 Kerberos 安全认证的大数据环境中如何正确指定 HS2 的 jdbc url 地址?
开启 Kerberos 安全认证的大数据环境中如何正确指定 HS2 的 jdbc url 地址?
|
6月前
|
SQL Java 大数据
大数据平台底层技术-JAVA篇-如何动态加载不同版本的 HIVE JDBC 驱动 - 一文读懂JAVA的类加载机制 2
大数据平台底层技术-JAVA篇-如何动态加载不同版本的 HIVE JDBC 驱动 - 一文读懂JAVA的类加载机制
|
10月前
|
数据采集 存储 缓存
大数据数据采集的数据采集(收集/聚合)的Flume之数据采集流程的Channel的JDBC Channel
在大数据处理和管理中,数据采集是非常重要的一环。为了更加高效地进行数据采集,Flume作为一种流式数据采集工具得到了广泛的应用。其中,Flume的Channel模块是实现数据缓存和传输的核心模块之一。本文将介绍Flume中的JDBC Channel,讲解其数据采集流程。
186 0
|
Java 大数据 数据库连接
【大数据系列之JDBC】(八):使用PreparedStatement获取结果集对象
【大数据系列之JDBC】(八):使用PreparedStatement获取结果集对象
280 0
|
SQL Java 大数据
【大数据系列之JDBC】(七):JDBC解决字段名和Java中对象名不一致
【大数据系列之JDBC】(七):JDBC解决字段名和Java中对象名不一致
144 0
【大数据系列之JDBC】(七):JDBC解决字段名和Java中对象名不一致
|
SQL Java 大数据
【大数据系列之JDBC】(六):使用PreparedStatement实现通用的增删改查操作
【大数据系列之JDBC】(六):使用PreparedStatement实现通用的增删改查操作
110 0
|
SQL Java 大数据
【大数据系列之JDBC】(五):使用PrepareStatement防止SQL注入
【大数据系列之JDBC】(五):使用PrepareStatement防止SQL注入
138 0
|
SQL 存储 Java
【大数据系列之JDBC】(四):Statement存在SQL注入问题
【大数据系列之JDBC】(四):Statement存在SQL注入问题
149 0
【大数据系列之JDBC】(四):Statement存在SQL注入问题

相关产品

  • 云原生大数据计算服务 MaxCompute