巴客 + 关注
研究spark/hive/hbase相关技术

巴客 发表了文章:

X-Pack Spark归档POLARDB数据做分析

发布时间:2019-05-06 23:50:49 浏览:7810 回帖 :1

简介 POLARDB数据库是阿里云自研的下一代关系型云数据库,100%兼容MySQL,性能最高是MySQL的6倍,但是随着数据量不断增大,面临着单条SQL无法分析出结果的现状。X-Pack Spar...

数据库 配置 集群 测试 Image 控制台 spark aliyun test 分区表 工作流

巴客 参与了问答:

phoenix的二级索引是先建好?还是先入了数据再创建的好?

phoenix的二级索引是先建好?还是先入了数据再创建的好?

“一般历史数据比较大的情况,可以先导入数据表,然后异步建索引。数据量不大先建好索引表再导数据。”

巴客 参与了问答:

Phoenix对带有索引表使用duplicate key写入数据报错

phoenix使用duplicate key写入数据,对已有key数据更新其中某些列。但是该表带有global 索引,写入报错:“The ON DUPLICATE KEY clause may not...

“带有索引的表不支持duplicate value功能,容易导致索引数据不一致,需考虑其他方案解决。”

巴客 参与了问答:

HBase写入数据报错“There is a hole in the region chain”

HBase不能写数据,报错“There is a hole in the region chain between and . You need to create a new .regionin...

“1.使用hbase hbck -details 查看hbase region状态 发现有些region无法上线 hbase hbck -fixMeta -fixAssignments 命令修复 但是...查看全部>

巴客 参与了问答:

phoenix通过中间机器访问hbase,报region is not online

我在线下通过phoenix访问hbase集群,由于线下与线上不互通,需要通过中间机器进行访问,测试的时候就报错:org.apache.hadoop.hbase.NotServingRegionExce...

“看下regionserver是否正常,日志看好像是挂掉了”

巴客 参与了问答:

两个不同hbase集群怎么同步数据?

两个不同hbase集群怎么同步数据?

“参考:https://rds.alibaba-inc.com/instance/instask/9415079”

巴客 参与了问答:

HBase shell创建的表和通过Phoenix创建的表区别大吗?

HBase shell创建的表和通过Phoenix创建的表区别大吗?

“HBase shell创建表不需要执行表schema,写入数据时动态指定列名即可。phoenix支持使用sql创建表,创建表需要定义好表结构,底层默认会对列名进行编码,且多出一个默认列。”

巴客 参与了问答:

phoenix原数据与索引数据是否是异步写? 如果是,在索引数据写失败的情况下,怎么保证数据原子性?

phoenix原数据与索引数据是否是异步写? 如果是,在索引数据写失败的情况下,怎么保证数据原子性?

“phoenix索引是用coprocessor同步更新的,写索引表时会先写WAL,一旦索引数据写入失败则回放WAL,保证索引数据最终写入成功。”

巴客 参与了问答:

spark怎么分析hbase的数据?

spark怎么分析hbase的数据?

“参考阿里云实现:https://help.aliyun.com/document_detail/93908.html?spm=a2c4g.11186623.6.595.406b6abeN2iwzU”

巴客 参与了问答:

hbase region预分片数量如何定?

hbase region预分片数量如何定?

“最好是regionserver数目的整数倍,根据数据量提前预估,主要rowkey设计要合理,否则容易出现热点问题”

巴客 参与了问答:

phoenix索引数据如何与hbase原始数据保持一致性?

phoenix索引数据如何与hbase原始数据保持一致性?

“phoenix索引通过coprocessor实现,原表数据更新时会触发phoenix数据更新。”

巴客 参与了问答:

Hadoop集群监控工具

最近集群正在做升级,之前规模较小,基本没用什么集群监控的软件(用了一段时间的monit,发现还是不太好用,不直观——非技术人员表示看不懂,哎),现在集群规模扩大,命令行实在是有点操作不过来,请问一下有...

“监控用ganlia试试”

巴客 参与了问答:

[@小川游鱼][¥20]hbase的phoenix

在phoenix上创建view,但是没注意加入了相同的两行,然后就出现数组下标越界错误,怎么都无法删除该view了要怎么解决。

“最好是创建view的语句也发出来”

巴客 参与了问答:

[@小川游鱼][¥20]我用hue执行hive SQL的时候 hbase报connectionException

我用hue 执行hivesql 的时候系统报错,java.net.SocketTimeoutException:callTimeout=60000, callDuration=68043: row '...

“看日志是连接超时了,可以设置下HBase客户端超时参数:hbase.rpc.timeout=60000000;hbase.client.scanner.timeout.period=60000000;”

巴客 参与了问答:

[@小川游鱼][¥20]HBASE数据导入问题

我使用hbase的import工具把hdfs中的数据导入了hbase中,我要怎么才可以确定数据已经导入成功了呢?数据量特别大,不可能通过观察数据得到结论

“IMPORT工具会启动mr任务导入数据到hbase,可以观察mr,任务成功执行结束并load到hbase表就说明导入了。验证条数的话可以先统计下原来数据条数,然后计算下hbase数据条数进行比对就可以...查看全部>

巴客 参与了问答:

在数量一定的情况下,怎么减少大合并的时间呢

大合并 ,阿里云hbase是在运维时间做,一般在2-4点,挑一些来region来做的。

“适当调整compact的线程数hbase.regionserver.thread.compaction.large默认是1,根据你集群配置调整。不建议配置太大,会消耗cpu资源。”

巴客 参与了问答:

Hive on hbase 分析10亿以上数据不是特别好?

性能会差,就简单查询也会下降!

“Hive分析HBase性能还是很慢的,可以参考下阿里云Spark+HBase的方案,对于分析做了一些优化,能够获取最大性能保障。https://help.aliyun.com/document_det...查看全部>

巴客 参与了问答:

Apache phoenix适合多大数据量?

数据量大了以后,性能是不是会下降?

“Phoenix底层以HBase做为存储引擎,对于点查不会随着数据量增大而性能下降”

巴客 参与了问答:

OLAP on HBase的可选方案有哪些?

推荐 Phoenix 。

“phoenix可以做部分简单场景的OLAP,对于复杂大数据量无能为力,需要借助sparksql进行处理。”

巴客 参与了问答:

Hbase报错: There is a hole in the region chain between and . You need to create a new .regioninfo and region dir in hdfs to plug the hole.

ERROR: There is a hole in the region chain between and . You need to create a new .regioninfo and ...

“一般使用hbase hbck工具进行修复。建议使用低危操作 hbase hbck -fixMeta -fixAssignment也有可能是由其他问题导致,还需结合日志进行观察。如磁盘空满了,hdfs文...查看全部>
3
研究spark/hive/hbase相关技术

感兴趣or擅长的领域:

更多>
明朔
明朔
文章:5丨 粉丝:1708丨 话题:0
hbase小能手
hbase小能手
文章:112丨 粉丝:3012丨 话题:0
我是小助手
我是小助手
文章:416丨 粉丝:4672丨 话题:7
焦先
焦先
文章:12丨 粉丝:309丨 话题:0
@dailidong@
@dailidong@
文章:430丨 粉丝:50丨 话题:0
cometwo123
cometwo123
文章:2680丨 粉丝:30丨 话题:0
更多>
一个嘉兴仔
一个嘉兴仔
文章:0丨 粉丝:0丨 话题:0
leongood
leongood
文章:0丨 粉丝:0丨 话题:0
游客jrmeyb65dnek4
游客jrmeyb65dnek4
文章:0丨 粉丝:0丨 话题:0
游客enhuyglqmghiw
游客enhuyglqmghiw
文章:0丨 粉丝:0丨 话题:0
ziyouren菜鸟
ziyouren菜鸟
文章:0丨 粉丝:0丨 话题:0
水木年华~
水木年华~
文章:0丨 粉丝:0丨 话题:0