Spark on Phoenix 4.x Connector:如何在Spark侧设置Phoenix参数

  1. 云栖社区>
  2. 博客>
  3. 正文

Spark on Phoenix 4.x Connector:如何在Spark侧设置Phoenix参数

云hbase+spark 2019-07-22 18:01:58 浏览495
展开阅读全文

前言

X-Pack Spark可以使用Spark on Phoenix 4.x Connector直接对接Phoenix数据库,读取Phoenix数据表数据。有时在读取Phoenix时需要设置Phoenix的一些参数,例如Phoenix为了保障数据库的稳定性,默认开了索引包含,即查询Phoebe表必须要带上索引或者主键字段作为过滤条件。此时Spark作为查询Phoenix数据库的客户端需要有传递参数的能力。本文就列举了Spark侧传递Phoenix参数的方法。
注意:本文的案例以X-Pack Spark和HBase SQL(Phoenix) 4.x作为背景。

案例描述

在Spark侧设置Phoenix的参数常见的有如下:

  1. phoenix.force.index,查询Phoenix的SQL语句中的过滤字段是否必须创建索引。本文以这个参数为例,

网友评论

登录后评论
0/500
评论
云hbase+spark
+ 关注