开发者社区> 问答> 正文

Spark 接入 Log Service,从日志头部开始消费要怎么配置

如题,spark消费logservice中的日志数据,默认是从尾部开始消费,怎么配置从头部开始消费
val loghubStream = LoghubUtils.createStream(

  ssc,
  loghubProject,
  logStream,
  loghubGroupName,
  endpoint,
  numReceivers,
  accessKeyId,
  accessKeySecret,
  StorageLevel.MEMORY_AND_DISK)

E-MapReduce SDK支持LogService的三种消费模式,即“BEGIN_CURSOR”,“END_CURSOR”和“SPECIAL_TIMER_CURSOR”,默认是“END_CURSOR”
我看 LoghubUtils.createStream提供的接口好像没有相关的

展开
收起
f7anty 2017-01-23 14:27:48 3719 0
1 条回答
写回答
取消 提交回答
  • 专注在大数据分布式计算、数据库及存储领域,拥有13+年大数据引擎、数据仓库、宽表引擎、平台研发经验,6年云智能大数据产品技术一号位经验,10年技术团队管理经验;云智能技术架构/云布道师; 研发阿里历代的大数据技术产品包括ODPS、DLA、ADB,最近五年主导宽表引擎研发、DLA、ADB湖仓研发;
    2019-07-17 20:44:29
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final 立即下载
Kubernetes下日志实时采集、存储与计算实践 立即下载
日志数据采集与分析对接 立即下载