1. 云栖社区>
  2. 全部标签>
  3. #x-pack#
x-pack

#x-pack#

已有0人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

X-Pack Spark用户手册

概述 Spark是大数据平台的通用计算平台,应用非常广泛。本文主要介绍Spark相关的知识,主要包括:了解Spark,使用Spark,使用Spark过程中遇到的问题FAQ等,谨帮助用户快速的掌握Spark以及如何使用Spark。

faq 大数据 SQL 日志 spark Streaming x-pack structured

Spark入门介绍

前言 Spark自从2014年1.2版本发布以来,已成为大数据计算的通用组件。网上介绍Spark的资源也非常多,但是不利于用户快速入门,所以本文主要通从用户的角度来介绍Spark,让用户能快速的认识Spark,知道Spark是什么、能做什么、怎么去做。

安全与风控 大数据 hbase SQL 数据库 集群 spark aliyun 分布式计算 存储 Streaming 数仓 离线 x-pack

Spark on HBase Connector:如何在Spark侧设置HBase参数

前言 X-Pack Spark可以使用Spark on HBase Connector直接对接HBase数据库,读取HBase数据表数据。有时在读取HBase时需要设置HBase的一些参数调整性能,例如通过设置hbase.client.scanner.caching的大小调整读取HBase数据的性能。

hbase 数据库 配置 集群 spark aliyun string xml type zookeeper x-pack

Spark on Phoenix 4.x Connector:如何在Spark侧设置Phoenix参数

前言 X-Pack Spark可以使用Spark on Phoenix 4.x Connector直接对接Phoenix数据库,读取Phoenix数据表数据。有时在读取Phoenix时需要设置Phoenix的一些参数,例如Phoenix为了保障数据库的稳定性,默认开了索引包含,即查询Phoebe表必须要带上索引或者主键字段作为过滤条件。

SQL Apache 数据库 spark aliyun 索引 index phoenix x-pack 设置参数

Spark 通用的性能配置方法:内存和CPU的配置

前言 本文主要介绍关于通过配置Spark任务运行时的内存和CPU(Vcore)来提升Spark性能的方法。通过配置内存和CPU(Vcore)是比较基础、通用的方法。本文出现的Demo以X-Pack Spark数据工作台为背景介绍,数据工作台的详细介绍请参考:数据工作台。

性能 配置 spark Driver CPU x-pack spark性能调优

X-Pack Spark对接阿里云日志服务LogHub

概述 X-Pack Spark分析引擎是基于Spark提供的复杂分析、流式处理、机器学习的能力。Spark分析引擎可以对接阿里云的多种数据源,例如:云HBase数据库、MongoDB、Phoenix等,同时也支持对接阿里云日志服务LogHub。

日志 日志服务 数据库 同步 spark aliyun string 数据同步 html varchar loghub Streaming 数仓 离线 x-pack

如何使用X-Pack Spark的YarnUI、SparkUI、Spark日志、任务运行状况的分析

概述 X-Pack Spark目前是通过Yarn管理资源,在提交Spark 任务后我们经常需要知道任务的运行状况,例如在哪里看日志、怎么查看每个Executor的运行状态、每个task的运行状态,性能瓶颈点在哪里等信息。

性能 日志 集群 spark yarn Streaming x-pack stage

Elastic Stack学习--elasticsearch安装X-Pack

x-pack作为elasticsearch的增强组件,主要提供安全、监控等功能。elasticsearch安装x-pack组件的顺序如下图: 离线安装x-pack     因为大多数情况下,生产环境中的服务器无法访问到外网环境,因此,使用离线安装方式;在线安装方式见参考连接;1)下载离线安装包.

Elasticsearch x-pack

1
GO