Hive高级优化

简介:


并发执行

1240

job1: a join b aa
job2: c join d cc
job3: aa join cc
说明: job1和job2可以并行执行。

JVM重用

它是对map/reduce 运行的任务,一个jvm可以运行多个map 任务。小数据可以使用jvm重用。性能可以提升70%

1240

Reduce的数据

默认reduce的任务是一个,可以根据自己的业务进行手动调整,不断测试把它调节到一个合适的值。

1240

推测执行

说明:MapReduce调优,默认启用的,最后把它关闭掉,这只为false。
场景:运行reduce时,有的慢,有的快,applicationMaster在另外一个机器上启动一个一模一样的reduce,那个先完成用那个。

1240

Map数据

说明:依照块的大小来


image.png
目录
相关文章
|
7月前
|
SQL 分布式计算 监控
Hive性能优化之计算Job执行优化 2
Hive性能优化之计算Job执行优化
98 1
|
7月前
|
SQL 存储 分布式计算
Hive性能优化之表设计优化1
Hive性能优化之表设计优化1
37 1
|
2天前
|
SQL 存储 分布式计算
【Hive】Hive优化有哪些?
【4月更文挑战第16天】【Hive】Hive优化有哪些?
|
4月前
|
SQL HIVE 索引
Hive【Hive(五)函数-高级聚合函数、炸裂函数】
Hive【Hive(五)函数-高级聚合函数、炸裂函数】
|
4月前
|
SQL 分布式计算 Hadoop
Hive SQL 优化
Hive SQL 优化
48 1
|
8月前
|
SQL HIVE
Hive学习---4、函数(单行函数、高级聚合函数、炸裂函数、窗口函数)(二)
Hive学习---4、函数(单行函数、高级聚合函数、炸裂函数、窗口函数)(二)
|
7月前
|
SQL 分布式计算 资源调度
Hive性能优化之计算Job执行优化 1
Hive性能优化之计算Job执行优化
97 0
Hive性能优化之计算Job执行优化 1
|
7月前
|
SQL 存储 分布式计算
Hive性能优化之表设计优化2
Hive性能优化之表设计优化2
52 1
|
8月前
|
SQL JSON Java
Hive学习---4、函数(单行函数、高级聚合函数、炸裂函数、窗口函数)(一)
Hive学习---4、函数(单行函数、高级聚合函数、炸裂函数、窗口函数)(一)
|
9月前
|
SQL 分布式数据库 HIVE
Hive 优化
Hive 优化
63 0