云hbase+spark + 关注

阿里云NoSQL X-Pack如何做到在线存储及计算一体?

发布时间:2019-09-25 10:20:16 浏览:1010 评论 :0

大数据处理的挑战随着企业数据的逐渐积累和增多,数据架构从单节点的关系型数据库,演进到分库分表,再演进到NoSQL及hadoop生态。hadoop生态百花齐放,没有统一的架构标准,目前用的比较多的是Lambda架构,该架构主要特点为流计算、批处理、在线存储独立的,通过pipline来连接。

HBase+Spark社区

X-Pack Spark 监控指标详解

发布时间:2019-09-04 12:01:17 浏览:417 评论 :0

概述 本文主要介绍X-Pack Spark集群监控指标的查看方法。Spark集群对接了Ganglia和云监控。下面分别介绍两者的使用方法。 Ganglia Ganglia是一个分布式监控系统。 Ganglia 入口 打开Spark集群依次进入:数据库连接>UI访问>详细监控UI>Ganglia。

监控 集群 spark CPU last

SparkStreming:使用Checkpoint创建StreamingContext修改executor-cores、executor-memory等资源信息不生效。

发布时间:2019-08-17 22:38:08 浏览:362 评论 :0

在使用SparkStreaming时,使用StreamingContext.getOrCreate(checkpointDirectory, functionToCreateContext _)创建StreamingContext。

配置 控制台 spark Create

X-Pack Spark使用[FAQ]

发布时间:2019-07-25 15:32:21 浏览:904 评论 :0

概述 本文主要列出在使用X-Pack Spark的FAQ。 Spark Connectors 主要列举Spark 对接其它数据源遇到的问题 Spark on HBase Spark on HBase Connector:如何在Spark侧设置HBase参数。

faq hbase SQL spark aliyun Cassandra 云数据库RDS 云数据库Redis版 云数据库MongoDB版 Connectors

【降价信息】云HBase X-Pack最高降价31%,再次释放大数据处理红利

发布时间:2019-07-25 10:35:10 浏览:426 评论 :0

阿里云中国站云HBase X-Pack中的Spark服务将于2019年7月16日进行价格下调。

大数据 hbase hadoop 数据处理 spark aliyun CPU

Spark on HBase Connector:如何在Spark侧设置HBase参数

发布时间:2019-07-24 15:06:47 浏览:522 评论 :0

前言 X-Pack Spark可以使用Spark on HBase Connector直接对接HBase数据库,读取HBase数据表数据。有时在读取HBase时需要设置HBase的一些参数调整性能,例如通过设置hbase.client.scanner.caching的大小调整读取HBase数据的性能。

hbase 数据库 配置 集群 spark aliyun string xml type zookeeper x-pack

Spark on Phoenix 4.x Connector:如何在Spark侧设置Phoenix参数

发布时间:2019-07-22 18:01:58 浏览:477 评论 :0

前言 X-Pack Spark可以使用Spark on Phoenix 4.x Connector直接对接Phoenix数据库,读取Phoenix数据表数据。有时在读取Phoenix时需要设置Phoenix的一些参数,例如Phoenix为了保障数据库的稳定性,默认开了索引包含,即查询Phoebe表必须要带上索引或者主键字段作为过滤条件。

SQL Apache 数据库 spark aliyun 索引 index phoenix x-pack 设置参数

Spark 通用的性能配置方法:内存和CPU的配置

发布时间:2019-07-08 17:37:24 浏览:801 评论 :0

前言 本文主要介绍关于通过配置Spark任务运行时的内存和CPU(Vcore)来提升Spark性能的方法。通过配置内存和CPU(Vcore)是比较基础、通用的方法。本文出现的Demo以X-Pack Spark数据工作台为背景介绍,数据工作台的详细介绍请参考:数据工作台。

性能 配置 spark Driver CPU x-pack spark性能调优

Spark入门介绍

发布时间:2019-06-22 23:06:22 浏览:1462 评论 :0

前言 Spark自从2014年1.2版本发布以来,已成为大数据计算的通用组件。网上介绍Spark的资源也非常多,但是不利于用户快速入门,所以本文主要通从用户的角度来介绍Spark,让用户能快速的认识Spark,知道Spark是什么、能做什么、怎么去做。

安全与风控 大数据 hbase SQL 数据库 集群 spark aliyun 分布式计算 存储 Streaming 数仓 离线 x-pack

如何使用X-Pack Spark的YarnUI、SparkUI、Spark日志、任务运行状况的分析

发布时间:2019-06-22 12:07:28 浏览:699 评论 :0

概述 X-Pack Spark目前是通过Yarn管理资源,在提交Spark 任务后我们经常需要知道任务的运行状况,例如在哪里看日志、怎么查看每个Executor的运行状态、每个task的运行状态,性能瓶颈点在哪里等信息。

性能 日志 集群 spark yarn Streaming x-pack stage

云Kafka搭配云HBase X-Pack构建一体化数据处理平台

发布时间:2019-06-20 15:00:31 浏览:7286 评论 :0

云HBase X-Pack是基于Apache HBase、Phoenix、Spark深度扩展,融合Solr检索等技术,支持海量数据的一站式存储、检索与分析。融合云kafka+云HBase X-Pack能够构建一体化的数据处理平台,支持风控、推荐、检索、画像、社交、物联网、时空、表单查询、离线数仓等场景,助力企业数据智能化。

大数据 架构 算法 hbase 融合云 数据处理 消息中间件 logstash spark aliyun 物联网 html 存储 kafka 海量数据

X-Pack Spark用户手册

发布时间:2019-06-18 16:56:25 浏览:1366 评论 :0

概述 Spark是大数据平台的通用计算平台,应用非常广泛。本文主要介绍Spark相关的知识,主要包括:了解Spark,使用Spark,使用Spark过程中遇到的问题FAQ等,谨帮助用户快速的掌握Spark以及如何使用Spark。

faq 大数据 SQL 日志 spark Streaming x-pack structured

广告点击数实时统计:Spark StructuredStreaming + Redis Streams

发布时间:2019-05-23 22:57:36 浏览:3071 评论 :1

实时统计广告点击数:Spark StructuredStreaming + Redis Stream 业务场景介绍 某广告公司在网页上投递动态图片广告,广告的展现形式是根据热点图片动态生成的。为了收入的最大化,需要统计每个广告的点击数来决定哪些广告可以投放的更长时间,哪些需要及时更换。

redis 实时系统 数据处理 spark aliyun stream 数据结构 jedis 存储 流处理 流数据 StructuredStreaming

2019 HBase Meetup 演讲者和议题征集

发布时间:2019-02-14 11:19:54 浏览:969 评论 :0

HBase Meetup 会议由 HBase技术社区主办,在全国各大城市举办。在过去的2018年,我们在北京、上海、杭州、深圳以及武汉等城市举办了9场 HBase Meetup 会议,来自各大公司的 HBase PMC、committer 以及 HBase 开发者共聚一堂,为大家分享了 HBase 技术解析及应用实践。

hbase 钉钉 MeetUp

中国HBase技术社区第六届MeetUp ——HBase典型应用场景与实践

发布时间:2018-10-29 16:57:36 浏览:1850 评论 :0

2018年10月20号,由中国HBase技术社区、DataFun社区联合猫友会、腾讯众创空间主办的中国第六届HBase Meetup将来到武汉,届时来自阿里巴巴、阿里云及烽火集成等公司HBase的专家们,将为大家分享HBase技术的典型应用场景及实践。

大数据 架构 hbase 数据迁移 物联网 分布式存储 一键迁移

中国HBase技术社区第七届MeetUp ——HBase技术与应用实践(成都站)

发布时间:2018-10-29 10:59:23 浏览:1500 评论 :0

2018年11月3号,由中国HBase技术社区、DataFun社区、爱奇艺主办的中国第七届HBase Meetup将来到成都,届时来自阿里、爱奇艺、G7等公司HBase的专家们,将为大家分享HBase技术的相关应用与发展情况。

分布式 大数据 hbase 人工智能 分布式存储

中国HBase技术社区第五届MeetUp ——HBase技术解析及应用实践(深圳站)

发布时间:2018-09-10 11:47:21 浏览:2134 评论 :0

中国HBase技术社区第五届MeetUp ——HBase应用与发展 HBase—Hadoop Database是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。

大数据 飞天 hbase 人工智能 电商 索引 分布式存储 存储

中国HBase技术社区第四届MeetUp上海站——HBase应用实践专场

发布时间:2018-09-03 20:17:56 浏览:1812 评论 :1

中国HBase技术社区第四届MeetUp——HBase应用实践专场 HBase—Hadoop Database是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。

大数据 hbase 数据库 人工智能 solr 高性能 分布式存储

中国HBase技术社区第三届MeetUp —HBase应用实践专场(杭州阿里西溪园区)

发布时间:2018-08-31 17:25:08 浏览:2121 评论 :0

2018年9月1号,由中国HBase技术社区、阿里云、DataFun社区主办的中国HBase技术社区 Meetup将来到杭州,届时来自阿里云、网易、挖财等公司的HBase技术专家们,将为大家分享HBase的应用实践。

分布式 大数据 飞天 hbase 高可用 数据库 人工智能 Image 分布式存储

2