1. 云栖社区>
  2. 全部标签>
  3. #spark#
spark

#spark#

已有24人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

基于Yarn API的Spark程序监控

一.简述 通过对Yarn ResourceManager中运行程序的状态(RUNNING、KILLED、FAILED、FINISHED)以及ApplicationMaster中Application的Job执行时长超过批次时间的监控,来达到对Spark on Yarn程序的失败重启、超时重启等功能 二.

spark curl yarn resourcemanager ApplicationMaster yarn-api-client

大数据平台常用组件

BigData-Alpha-0.1.0 备注: 未增加zookeeper、Doris、CarbonData 部分归类模糊 仅供参考

redis hbase hadoop zabbix spark zookeeper kafka ELK phoenix flink ClickHouse

MaxCompute问答整理之7月

本文是基于本人对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文。希望对大家有所帮助。 问题一、DataWorks V2.0简单模式和标准模式的区别? 公司数仓的数据上云后,在使用MaxCompute计算引擎时,需要一个稳定、可靠的调度系统,将自身数据生产任务(代码)按照所需依赖关系、运行时间来调度运行,那么DataWorks就派上了用场。

云栖社区 大数据 函数 配置 测试 问答 spark aliyun 数据类型 MaxCompute 开发者社群

海量监控日志基于EMR Spark Streaming SQL进行实时聚合

从EMR-3.21.0 版本开始将提供Spark Streaming SQL的预览版功能,支持使用SQL来开发流式分析作业。结果数据可以实时写入Tablestore。 本文以LogHub为数据源,收集ECS上的日志数据,通过Spark Streaming SQL进行聚合后,将流计算结果数据实时写入Tablestore,展示一个简单的日志监控场景。

监控 TableStore SQL 日志 日志服务 SLS spark ots EMR 表格存储 流计算 sparkstreaming loghub StreamCompute 聚合

用Flink取代Spark Streaming!知乎实时数仓架构演进

本文主要讲述知乎的实时数仓实践以及架构的演进,这包括以下几个方面: - 实时数仓 1.0 版本,主题:ETL 逻辑实时化,技术方案:Spark Streaming。 - 实时数仓 2.0 版本,主题:数据分层,指标计算实时化,技术方案:Flink Streaming。

大数据 架构 etl 日志 数据处理 spark 报表 流计算 flink 实时计算 AI及大数据

海量监控日志基于EMR Spark Streaming SQL进行实时聚合

从EMR-3.21.0 版本开始将提供Spark Streaming SQL的预览版功能,支持使用SQL来开发流式分析作业。结果数据可以实时写入Tablestore。 本文以LogHub为数据源,收集ECS上的日志数据,通过Spark Streaming SQL进行聚合后,将流计算结果数据实时写入Tablestore,展示一个简单的日志监控场景。

nginx 系统研发与运维 移动开发与客户端 大数据 监控 SQL 日志 集群 Image 控制台 spark 流式计算 string EMR 表格存储

海量监控日志基于EMR Spark Streaming SQL进行实时聚合

从EMR-3.21.0 版本开始将提供Spark Streaming SQL的预览版功能,支持使用SQL来开发流式分析作业。结果数据可以实时写入Tablestore。 本文以LogHub为数据源,收集ECS上的日志数据,通过Spark Streaming SQL进行聚合后,将流计算结果数据实时写入Tablestore,展示一个简单的日志监控场景。

nginx 数据存储与数据库 移动开发与客户端 大数据 监控 SQL 日志 集群 Image 控制台 spark 流式计算 string EMR 表格存储

Apache Carbondata on Preto

1.download apache carbondata - 1.5.3apache carbondata - 1.5.4apache spark - 2.3.2apache hadoop - 2.7.

hadoop Apache Maven node spark Server facebook plugin presto carbondata

Apache Spark3.0什么样?一文读懂Apache Spark最新技术发展与展望

阿里巴巴高级技术专家李呈祥带来了《Apache Spark 最新技术发展和3.0+ 展望》的全面解析,为大家介绍了Spark在整体IT基础设施上云背景下的新挑战和最新技术进展,同时预测了Spark 3.0即将重磅发布的新功能。

云栖社区 系统软件 系统研发与运维 网络与数据通信 linux 深度学习 大数据 性能 Apache 数据仓库 Cache Image spark 分布式计算 安全问道

Apache Spark3.0什么样?一文读懂Apache Spark最新技术发展与展望

阿里巴巴高级技术专家李呈祥带来了《Apache Spark 最新技术发展和3.0+ 展望》的全面解析,为大家介绍了Spark在整体IT基础设施上云背景下的新挑战和最新技术进展,同时预测了Spark 3.0即将重磅发布的新功能。

安全与风控 数据存储与数据库 移动开发与客户端 深度学习 大数据 性能 Apache 数据仓库 Cache Image spark 开源大数据 分布式计算 source 磁盘

Spark on Kubernetes 的现状与挑战

云原生时代,Kubernetes 的重要性日益凸显,这篇文章以 Spark 为例来看一下大数据生态 on Kubernetes 生态的现状与挑战。

大数据 native 性能 Apache 集群 内存管理 spark Driver github

Spark on Kubernetes 的现状与挑战

被称为云上 OS 的 Kubernetes 是 Cloud Native 理念的一种技术承载与体现,但是如何通过 Kubernetes 来助力大数据应用还是有很多可以探索的地方。欢迎交流。

云栖社区 安全与风控 系统软件 大数据 native 性能 Apache 集群 内存管理 spark 开源大数据 Driver github

玩转阿里云EMR三部曲-入门篇

优异的自动化创建集群让小伙伴可以专心于业务开发,不再纠结于hadoop版本,spark版本,甚至某些jar版本引发的各种奇怪问题,按需集群按小时计费模式替小伙伴们极大节省了开支,可以50个节点执行1小时,也可以3个节点执行5小时,非常灵活。

nginx 编程语言 系统研发与运维 移动开发与客户端 网络与数据通信 大数据 架构 OSS hdfs hadoop 公共云 配置 spark EMR

【教程】5分钟在PAI算法市场发布自定义算法

概述 在人工智能领域存在这样的现象,很多用户有人工智能的需求,但是没有相关的技术能力。另外有一些人工智能专家空有一身武艺,但是找不到需求方。这意味着在需求和技术之间需要一种连接作为纽带。 今天PAI正式对外发布了“AI市场”以及“PAI自定义算法”两大功能,可以帮助用户5分钟将线下的spark算法或是pyspark算法发布成算法组件,并且支持组件发布到AI市场供更多用户使用。

深度学习 算法 机器学习 人工智能 配置 控制台 spark aliyun html PAI

7月31日Spark钉钉群直播【Apache Spark 在存储计算分离趋势下的数据缓存】

在数据上云的大背景下,存储计算分离逐渐成为了大数据处理的一大趋势,计算引擎需要通过网络读写远端的数据,很多情况下 IO 成为了整个计算任务的瓶颈,因而数据缓存成为此类场景下的一个重要的优化手段。本次分享将介绍 Spark 在数据缓存上的一些做法,并将介绍 EMR 自研的 Jindo 存储系统在数据缓存上的应用。

云栖社区 编程语言 系统研发与运维 移动开发与客户端 大数据 机器学习 Apache 钉钉 spark aliyun EMR 存储

7月31日Spark钉钉群直播【Apache Spark 在存储计算分离趋势下的数据缓存】

在数据上云的大背景下,存储计算分离逐渐成为了大数据处理的一大趋势,计算引擎需要通过网络读写远端的数据,很多情况下 IO 成为了整个计算任务的瓶颈,因而数据缓存成为此类场景下的一个重要的优化手段。本次分享将介绍 Spark 在数据缓存上的一些做法,并将介绍 EMR 自研的 Jindo 存储系统在数据缓存上的应用。

云栖社区 系统软件 系统研发与运维 大数据 机器学习 Apache 钉钉 spark EMR 存储

【降价信息】云HBase X-Pack最高降价31%,再次释放大数据处理红利

阿里云中国站云HBase X-Pack中的Spark服务将于2019年7月16日进行价格下调。

大数据 hbase hadoop 数据处理 spark aliyun CPU

Spark on k8s

前言 Spark 自从2.3版本以来就支持运行在k8s上,本文主要介绍如何运行Spark在阿里云容器服务-Kubernetes。 前提条件 1、 已经购买阿里云容器服务-Kubernetes。购买链接:Kubernetes控制台。

docker 镜像 集群 容器 spark aliyun string Registry kubernetes k8s yaml

Spark on HBase Connector:如何在Spark侧设置HBase参数

前言 X-Pack Spark可以使用Spark on HBase Connector直接对接HBase数据库,读取HBase数据表数据。有时在读取HBase时需要设置HBase的一些参数调整性能,例如通过设置hbase.client.scanner.caching的大小调整读取HBase数据的性能。

hbase 数据库 配置 集群 spark aliyun string xml type zookeeper x-pack

Spark on Phoenix 4.x Connector:如何在Spark侧设置Phoenix参数

前言 X-Pack Spark可以使用Spark on Phoenix 4.x Connector直接对接Phoenix数据库,读取Phoenix数据表数据。有时在读取Phoenix时需要设置Phoenix的一些参数,例如Phoenix为了保障数据库的稳定性,默认开了索引包含,即查询Phoebe表必须要带上索引或者主键字段作为过滤条件。

SQL Apache 数据库 spark aliyun 索引 index phoenix x-pack 设置参数

146
GO