SparkSQL在有赞的实践

  1. 云栖社区>
  2. HBase+Spark社区>
  3. 博客>
  4. 正文

SparkSQL在有赞的实践

邹有福 2019-01-10 21:32:17 浏览5926
展开阅读全文

前言

有赞数据平台从2017年上半年开始,逐步使用 SparkSQL 替代 Hive 执行离线任务,目前 SparkSQL 每天的运行作业数量5000个,占离线作业数目的55%,消耗的 cpu 资源占集群总资源的50%左右。本文介绍由 SparkSQL 替换 Hive 过程中碰到的问题以及处理经验和优化建议,包括以下方面的内容:

  • 有赞数据平台的整体架构。
  • SparkSQL 在有赞的技术演进。
  • 从 Hive 到 SparkSQL 的迁移之路。

一. 有赞数据平台介绍

首先介绍一下有赞大数据平台总体架构:

如下图所示,底层是数据导入部分,其中 DataY 区别于开源届的全量导入导出工具 alibaba/DataX,是有赞内部研发的离线 Mysql 增量导入 Hive 的工具,把 Hive 中历史数据和当天增量部分做合并。DataX / DataY

网友评论

登录后评论
0/500
评论
邹有福
+ 关注
所属云栖号: HBase+Spark社区