1. 云栖社区>
  2. 全部标签>
  3. #spark#
spark

#spark#

已有24人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

开源大数据周刊-第1期

即日起,E-Mapreduce提供包年包月服务(比按需便宜约60%),用户可通过引导操作自定义安装软件、自定义配置,同时还能创建使用Hbase集群,通过open-API进行创建集群、提交作业等各种操作。

hadoop 开源 spark

如果在SPARK函数中使用UDF或UDAF

spark scala UDF udaf

Spark SQL性能优化

性能 SQL spark 优化

如何使用Spark SQL 的JDBC server

SQL spark Server JDBC

spark sql简单示例

SQL spark 示例 内存迭代计算

阿里云MongoDB与EMR的HelloWorld

越来越多的应用采用MongoDB作为数据存储层,性能高,扩展性强,通过WriteCocern参数还可以控制写入持久级别,CAP上灵活配置。文档型的存储结构又是特别适合物联网,游戏等领域,这些数据也蕴藏这巨大的价值,就像是金矿一样,需要挖掘。虽然MongoDB提供了MapReduce功能,但功能相对薄

数据存储与数据库 MongoDB spark

高可用Hadoop平台-探索

hadoop spark 探索

高可用Hadoop平台-探索

hadoop spark 探索

Spark如何使用Akka实现进程、节点通信的简明介绍

Akka是一款提供了用于构建高并发的、分布式的、可伸缩的、基于Java虚拟机的消息驱动应用的工具集和运行时环境。

大数据 分布式系统与计算 实时系统 spark Akka

日志服务(原SLS)新功能发布(3)--多实例协同消费库(loghub client library)

loghub client library是对LogHub消费者提供的高级模式,解决多个消费者同时消费logstore时自动分配shard问题。 例如在storm、spark场景中多个消费者情况下,自动处理shard的负载均衡,消费者failover等逻辑。用户只需专注在自己业务逻辑上,而无需关心

storm 日志服务 SLS 负载均衡 spark stream

SparkContext的初始化(季篇)——测量系统、ContextCleaner等组件介绍

Spark按照Instance的不同,区分为Master、Worker、Application、Driver和Executor。Spark目前提供的Sink有ConsoleSink、CsvSink、JmxSink、MetricsServlet、GraphiteSink等。Spark中使用Metric

大数据 分布式系统与计算 spark scala 测量

SparkContext的初始化(叔篇)——TaskScheduler的启动

本文主要介绍TaskScheduler的启动过程。包括:创建LocalActor、 ExecutorSource的创建与注册、ExecutorActor的构建与注册、Spark自身ClassLoader的创建及启动Executor的心跳线程。 <img src="http://img.blog.c

大数据 分布式系统与计算 实时系统 spark scala

GraphFrames简介

Databricks公司宣布推出了Apache Spark上的图处理GraphFrames库,通过和UCB和MIT合作,他们基于DataFrames构建了一个图处理库,GraphFrames受益于DataFrames的高性能和可拓展性,也能提供一个统一的图处理API接口。支持的语言包括Scala、.

spark

SparkContext的初始化(伯篇)——执行环境与元数据清理器

由于本书的第3章内容较多,所以打算分别开辟三篇随笔分别展现。本文展现第3章第一部分的内容: 第3章 SparkContext的初始化 “道生一,一生二,二生三,三生万物。”——《道德经》 本章导读:        SparkContext的初始化是Driver应用程序提交执行

大数据 分布式系统与计算 spark scala Akka

SparkContext的初始化(仲篇)——SparkUI、环境变量及调度

在大型分布式系统中,采用事件监听机制是最常见的。为什么要使用事件监听机制?假如SparkUI采用Scala的函数调用方式,那么随着整个集群规模的增加,对函数的调用会越来越多,最终会受到Driver所在JVM的线程数量限制而影响监控数据的更新,甚至出现监控数据无法及时显示给用户的情况。

大数据 客户端 spark scala 初始化

Elasticsearch中的DocValues

简单的说,Elasticsearch通过反向索引做搜索,通过DocValues列式存储做分析,将搜索和分析的场景统一到了一个分布式系统中,还是很有搞头的。

spark Elasticsearch

147
GO