Spark on HBase Connector:如何在Spark侧设置HBase参数

  1. 云栖社区>
  2. 博客>
  3. 正文

Spark on HBase Connector:如何在Spark侧设置HBase参数

云hbase+spark 2019-07-24 15:06:47 浏览454
展开阅读全文

前言

X-Pack Spark可以使用Spark on HBase Connector直接对接HBase数据库,读取HBase数据表数据。有时在读取HBase时需要设置HBase的一些参数调整性能,例如通过设置hbase.client.scanner.caching的大小调整读取HBase数据的性能。使用Spark作为客户端查询HBase数据库的客户端需要有传递参数的能力。本文就列举了Spark侧传递HBase参数的方法。
注意:本文的案例以X-Pack Spark和云HBase数据库作为背景。

案例描述

提前在HBase中创建一张表,表的格式如下:

表名:hbase_t0
CF: cf1
column1: cf1:col_str
column2: cf1:col_int
column3: cf1:col_float
column4: cf

网友评论

登录后评论
0/500
评论
云hbase+spark
+ 关注