开发者社区> 问答> 正文

hbase的增删改增量导入到hive

怎么将一天内的所有操作记录导出来,merge到hive中,hive和hbase不是在一个hadoop环境。

展开
收起
hbase小能手 2018-11-08 11:24:08 2807 0
2 条回答
写回答
取消 提交回答
  • 如果只是增量和更新量的话,可以通过HBase的Client客户算 scan.setTimeRange(begin,end)设置扫表的时间戳来扫描表,当然
    更具体的设置可以根据自己需求,然后拿到所需要的增量表内容导入hive

    另外,通过spark 直连hbase 的方式的方式没有尝试过,不知道能不能走通 ,确定增量数据

    2019-07-17 23:12:55
    赞同 展开评论 打赏
  • HBase是一个分布式的、面向列的开源数据库,一个结构化数据的分布式存储系统。HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。阿里云HBase技术团队共同探讨HBase及其生态的问题。

    通过将HBase的数据转成RDD存入Hive~

    2019-07-17 23:12:55
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Hive Bucketing in Apache Spark 立即下载
spark替代HIVE实现ETL作业 立即下载
2019大数据技术公开课第五季—Hive迁移到MaxCompute最佳实践 立即下载