开发者社区> 问答> 正文

Lily HBase Indexer同步HBase二级索引到Solr丢失数据的问题

可能有哪些原因?

展开
收起
hbase小助手 2018-11-15 13:41:09 3168 0
1 条回答
写回答
取消 提交回答
  • 开源这里目前有几个问题会有隐患:
    1)多副本时,不保证所有副本都成功,可能会异常只写一个leader成功就算成功,如果还没有来得及同步,leader也挂了,那么就可能会出出现数据丢失了。
    2)插入数据时,某部分语法的异常,lily indexer没有catch住不断重试,这部分就会被略过了,这个是现在开源的默认唯一动作
    3) 同步索引过程中,没有版本的概念,WAL的replication只是按照 RS级别有序,如果一个rowkey1开始在RS1,积压了很多wal没有同步,因为某种原因rowkey1转到RS2,这个时候RS2没有什么wal积压,这个时候rowkey1的最新修改可能会被先同步到solr。
    而原来的RS1上的大量wal,可能到来时间是比较晚一点,但正因如此,这些晚到的旧数据会覆盖掉新的数据。

    更多hbase+solr+indexer的一些局限性、有点,请参考 https://yq.aliyun.com/articles/687098

    2019-07-17 23:14:35
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
大数据时代的存储 ——HBase的实践与探索 立即下载
Hbase在滴滴出行的应用场景和最佳实践 立即下载
阿里云HBase主备双活 立即下载