Cassandra数据迁移-BulkLoad离线工具介绍

  1. 云栖社区>
  2. Cassandra+Spark社区>
  3. 博客>
  4. 正文

Cassandra数据迁移-BulkLoad离线工具介绍

陈江@阿里 2019-11-04 10:44:28 浏览735
展开阅读全文

该工具通过文件流接口快速导入数据到cassandra集群,是最快地将线下数据迁移到线上cassandra集群方法之一,准备工作如下

  • 线上cassandra集群
  • 线下数据,sstable格式或者csv格式。
  • 同vpc一台独立的ecs,开放安全组,能访问cassandra集群端口

1. 准备同vpc下客户端ecs

建议独立的ecs,不要和线上cassandra集群混用,混用会影响线上服务。

2. 创建schema

$ cqlsh -f schema.cql  -u USERNAME -p PASSWORD [host]

3. 准备数据

3.1 sstable数据格式

按data/${keyspace}/${table} 格式组织目录,将sstable数据放入目录,如下示例

ls /tmp/quote/historical_prices/
md-1-big-

网友评论

登录后评论
0/500
评论
陈江@阿里
+ 关注
所属团队号: Cassandra+Spark社区