CDH4.5.0 新特性

简介:

Apache Flume

新特性:

  • FLUME-2190 - 引入一个新的Twitter firehose的feed源
  • FLUME-2109 - HTTP输入源支持HTTPS.
  • FLUME-1666 - 系统日志的TCP源现在可以保持时间戳和处理领域中的事件主体.
  • FLUME-2202 - AsyncHBaseSink can now coalesce increments to the same row and column per transaction to reduce the number of RPC calls
  • FLUME-2189 - Avro Source can now accept events from a restricted set of peers
  • FLUME-2052 - Spooling Directory Source can now ignore or replace malformed characters.
  • Flume自动检测Cloudera Search依赖。

变化的特性:

  • Memory Channel calculates byte capacity usage on transaction commits instead of puts to improve performance

Apache Hive

新特性:

Hue

新特性:

  • 增加了对SAML验证后端和其他安全修补程序支持.

变化的特性:

  • HUE-1609 - [core] LDAP后端和进口应不区分大小写.
  • HUE-1632 - [oozie] Workflow with & in a property fails to submit.
  • HUE-1555 - [hbase] Python 2.4 支持.
  • HUE-1521 - [core] 改进 JobTracker HA.
  • [search] 默认的模板应显示的所有字段.
  • [core] 让搜索绑定认证可选的LDAP

Apache MapReduce v1 (MRv1)

新特性:

  • HDFS访问追踪:当mapreduce.job.token.tracking.ids设置为true时,MRv1任务根据持有的HDFS访问凭证来访问HDFS上的数据。而且,当MRv1其访问数据数据时HDFS日志会记录其访问信息。
  • 堆栈跟踪的任务超时: 为了便于调试,当MR任务超时时会累记其堆栈信息.
  • KeyOnlyTextInputWriter KeyOnlyTextOutputReader使工作流不使用分隔符即可写入/读取文本.

变化的特性:

  • 用户在使用MRv1压缩包的bin-mapreduce1目录下的脚本时,不再需要根据情况的不同而设置不同的环境变量了.

Apache MapReduce v2 (YARN)

新特性:

  • HDFS访问追踪:当mapreduce.job.token.tracking.ids设置为true时,MRv1任务根据持有的HDFS访问凭证来访问HDFS上的数据。而且,当MRv1其访问数据数据时HDFS日志会记录其访问信.
  • KeyOnlyTextInputWriter KeyOnlyTextOutputReader使工作流不使用分隔符即可写入/读取文本.
  • 公平调度器现在可以不用受节点心跳检测的判断影响,从而可以更快的调度

Apache Oozie

新特性:

  • Pig和Hive现在无需手动操作或配置即可访问 Parquet 文件.

Apache Sentry (孵化中)

新特性:

  • Hive Metastore服务的访问可以不受IPTables的限定。在HiveServer2和ImpalaD运行的用户必须要首先在core-site.xml中配置,然后才可以访问Hive Metastore服务。 例如,hivemetastore 是Hive Metastore服务的用户。hiveimpala分别是运行HiveServer2 和 ImpalaD不同用户。按如下的配置,这些用户将被允许访问Hive Metastore服务.
<property>
    <name>hadoop.proxyuser.hivemetastore.groups</name>
    <value>hive,impala</value>
</property>

Sentry现在已经集成到Cloudera Search中,配置方法请参考: Configuring Sentry for Search

原文地址:What’s New in CDH4.5.0

目录
相关文章
|
6月前
|
存储 固态存储 关系型数据库
Apache Doris 系列: 入门篇-安装部署
Apache Doris 系列: 入门篇-安装部署
344 0
|
3月前
|
分布式计算 Hadoop 大数据
最新版本——Hadoop3.3.6单机版完全部署指南
最新版本——Hadoop3.3.6单机版完全部署指南
111 0
|
5月前
|
存储 SQL 分布式计算
CDH和CloudManager概述
CDH和CloudManager概述
59 0
|
9月前
|
存储 分布式计算 Hadoop
如何升级CDH7.1.1到CDH7.1.3
如何升级CDH7.1.1到CDH7.1.3
128 1
|
SQL 资源调度 分布式计算
CDH+Kylin三部曲之三:Kylin官方demo
本文是《CDH+Kylin三部曲》系列的终篇,一起来实践kylin官方的demo
CDH+Kylin三部曲之三:Kylin官方demo
|
SQL 分布式计算 资源调度
spark 3.1.x支持(兼容)hive 1.2.x以及hadoop cdh版本的尝试
spark 3.1.x支持(兼容)hive 1.2.x以及hadoop cdh版本的尝试
863 0
|
分布式计算 关系型数据库 MySQL
CDH 部署教程
CDH 部署教程
518 0
CDH 部署教程
|
SQL Java 定位技术
CDH6.2版本 HiveUDF 应用测试说明
CDH6.2版本 HiveUDF 应用测试说明
883 0
CDH6.2版本 HiveUDF 应用测试说明
|
SQL 分布式计算 Hadoop
CDH6.2版本的HIVE性能测试
CDH6.2版本的HIVE性能测试
2068 0
CDH6.2版本的HIVE性能测试
|
SQL API Apache
即将发版!Apache Flink 1.9 版本有哪些新特性?
文整理自开源大数据专场中阿里巴巴高级技术专家杨克特(鲁尼)先生的精彩演讲,主要讲解了Apache Flink过去和现在的发展情况,同时分享了对Apache Flink未来发展方向的理解。
14148 0