X-Pack Spark用户手册

  1. 云栖社区>
  2. 博客>
  3. 正文

X-Pack Spark用户手册

云hbase+spark 2019-06-18 16:56:25 浏览1109
展开阅读全文

概述

X-Pack Spark是大数据平台的通用计算平台,应用非常广泛。本文主要介绍Spark相关的知识,主要包括:了解Spark,使用Spark,使用Spark过程中遇到的问题FAQ等,谨帮助用户快速的掌握Spark以及如何使用Spark。
X-Pack Spar兼容开源Spark,本文介绍的内素材以X-Pack Spark为背景。

大纲

基础篇

  1. Spark的入门介绍

    1. 如何使用X-Pack Spark的YarnUI、SparkUI、Spark日志、任务运行状况的分析.
    2. Spark 通用的性能配置方法:内存(executor-memory)和CPU(executor-cores)的配置
    3. Spark本地连接hbase集群做调试.
  2. Spark SQL语法介绍
  3. Spark Streaming介绍(待完善)
  4. Structured Streaming介绍(待完善)
  5. Spark DataSource外部数据源介绍(待完善)

进阶篇(高级功能)

X-Pack Spark使用[FAQ]

FAQ明细请参考:X-Pack Spark使用FAQ

X-Pack Spark之性能优化

  1. Spark Streaming 常见优化。

案例实战

  1. 广告点击数实时统计:Spark StructuredStreaming + Redis Streams
  2. SparkSQL在有赞的实践
  3. HBase+Spark游戏大数据的实践
  4. X-Pack Spark对接阿里云日志服务LogHub

注意,本篇文章可以转载,但必须保留原文地址,以及上面各小结原文地址。

钉钉交流
image

网友评论

登录后评论
0/500
评论
云hbase+spark
+ 关注