spark支持2.4.3版本

简介: 信息摘要: 该版本主要发布spark-connectors 1.0.4版本,升级spark内核到社区最新稳定版本2.4.3适用客户: 企业客户/个人开发者版本/规格功能: 该版本主要发布spark-connectors 1.

信息摘要: 该版本主要发布spark-connectors 1.0.4版本,升级spark内核到社区最新稳定版本2.4.3
适用客户: 企业客户/个人开发者
版本/规格功能: 该版本主要发布spark-connectors 1.0.4版本,升级spark内核到社区最新稳定版本2.4.3:

1、Spark connectors:目前已经支持NoSQL系列:HBase&Phoenix、MongoDB、Redis、TableStore、ElasticSearch等;OLTP数据库:POLARDB、RDS、DRDS等;OLAP数据库:ADB;消息中间件:kafka、loghub、datahub;MaxCompute等;
2、Spark 2.4.3版本核心功能,具体参考社区release note:
a、新的调度模型(Barrier Scheduling),使用户能够将分布式深度学习训练恰当 地嵌入到 Spark 的 stage 中,以简化分布式训练工作流程。
b、添加了35个高阶函数,用于在 Spark SQL 中操作数组/map。
c、Structured Streaming 的各种增强功能。 例如,连续处理(continuous processing)中的有状态操作符。
d、内置数据源的各种性能改进。 例如,Parquet 嵌套模式修剪(schema pruning)
f、JDBC Connector支持 Date/Timestamp类型作为分区并发字段
g、支持 Scala 2.12。
产品文档: https://help.aliyun.com/document_detail/106294.html

目录
相关文章
|
SQL 消息中间件 分布式计算
如何查看spark与hadoop、kafka、Scala、flume、hive等兼容版本【适用于任何版本】
如何查看spark与hadoop、kafka、Scala、flume、hive等兼容版本【适用于任何版本】
666 0
如何查看spark与hadoop、kafka、Scala、flume、hive等兼容版本【适用于任何版本】
|
2月前
|
分布式计算 Java Scala
spark 与 scala 的对应版本查看、在idea中maven版本不要选择17,弄了好久,换成11就可以啦
spark 与 scala 的对应版本查看、.在idea中maven版本不要选择17,弄了好久,换成11就可以啦
94 2
|
分布式计算 监控 安全
【墨菲安全实验室】Spark(3.1.2, 3.2.1, 3.3.0版本)shell命令注入漏洞
【墨菲安全实验室】Spark(3.1.2, 3.2.1, 3.3.0版本)shell命令注入漏洞
【墨菲安全实验室】Spark(3.1.2, 3.2.1, 3.3.0版本)shell命令注入漏洞
|
分布式计算 算法 调度
spark2.2以后版本任务调度将增加黑名单机制
spark2.2以后版本任务调度将增加黑名单机制
244 0
|
SQL 分布式计算 Java
spark入门(2.0.1版本):概述,下载,编译,运行环境及实例运行
spark入门(2.0.1版本):概述,下载,编译,运行环境及实例运行
154 0
|
分布式计算 Java Scala
一天学完spark的Scala基础语法教程十三、文件IO操作(idea版本)
一天学完spark的Scala基础语法教程十三、文件IO操作(idea版本)
97 0
一天学完spark的Scala基础语法教程十三、文件IO操作(idea版本)
|
分布式计算 Java Scala
一天学完spark的Scala基础语法教程十二、异常处理(idea版本)
一天学完spark的Scala基础语法教程十二、异常处理(idea版本)
169 0
一天学完spark的Scala基础语法教程十二、异常处理(idea版本)
|
分布式计算 Java Scala
一天学完spark的Scala基础语法教程十一、正则表达式(idea版本)
一天学完spark的Scala基础语法教程十一、正则表达式(idea版本)
117 0
一天学完spark的Scala基础语法教程十一、正则表达式(idea版本)
|
存储 分布式计算 Java
一天学完spark的Scala基础语法教程十、类和对象(idea版本)
一天学完spark的Scala基础语法教程十、类和对象(idea版本)
96 0
一天学完spark的Scala基础语法教程十、类和对象(idea版本)
|
分布式计算 Scala Spark
一天学完spark的Scala基础语法教程九、迭代器(idea版本)
一天学完spark的Scala基础语法教程九、迭代器(idea版本)
109 0
一天学完spark的Scala基础语法教程九、迭代器(idea版本)