1. 云栖社区>
  2. 全部标签>
  3. #spark#
spark

#spark#

已有14人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

云场景实践研究第20期:梨视频

作为中国领先的资讯类短视频生产者,梨视频采用阿里云平台搭建了数据处理系统和梨视频推荐系统,本文从架构和实现的角度介绍梨视频上云的实践经验。

大数据 架构 日志 模块 数据处理 集群 spark 云数据库 EMR 推荐系统 云场景实践研究

Spark学习[扩展阅读] 详解 Spark RDD

为了能解决程序员能在大规模的集群中以一种容错的方式进行内存计算这个问题, 我们提出了 RDDs 的概念. 当前的很多框架对迭代式算法场景与交互性数据挖掘场景的处理性能非常差, 这个是 RDDs 的提出的动机.

大数据 函数 集群 spark 编程 Mapreduce 存储 数据存储 RDD

2017CSDN学院研究

2017CSDN学院研究          分析截止时间:2014年4月15日              签约老师:496位              签约机构:127家              111个Java课程              105个Android课程           ...

android java c++ spark 项目管理 html

Spark调优综述

Apache Spark广泛用于大规模数据处理方面,凭借支持交互查询、流式计算的性能快速崭露头角。Spark需要快速的处理海量数据,由此针对Spark进行性能调优显得十分必要。Spark调优包含众多方面,本文中仅针对于:资源、程序开发、数据倾斜三方面的调优进行阐述。

函数 性能 集群 spark 磁盘 换装攻略 Spark调优 数据倾斜 开发调优

流式大数据处理的三种框架:Storm,Spark和Samza

流式大数据处理的三种框架:Storm,Spark和Samza

大数据 storm spark

Web Test Gateway Web测试网关

http://code.google.com/p/wtgw/ spark作品

web code 测试 spark google test

1号店信息安全峰会--2013.3.30 视频

spark http://v.youku.com/v_show/id_XNTQwMjE0Njcy.

安全 spark html

开源大数据解决方案

表 1. 开源大数据解决方案 解决方案 开发商 类型 描述 Storm Twitter 流式处理 Twitter 的新流式大数据分析解决方案 S4 Yahoo!...

分布式 大数据 storm hadoop Apache 集群 spark 解决方案 开源大数据 Twitter Mapreduce 流计算 大数据分析

spark

http://spark-project.org/

spark

大数据处理书籍

apache yarn http://www.amazon.com/Apache-Hadoop-YARN-Processing-Addison-Wesley/dp/0321934504/re...

大数据 Apache Processing spark zookeeper IE oschina

Tachyon:吞吐量超过HDFS 300多倍 来自伯克利的分布式文件系统

Hadoop足够快吗?美国加州大学伯克利分校的AMPLab基于Hadoop的核心组件开发出一个更快的版本Tachyon。

大数据 hdfs hadoop 数据仓库 集群 spark 分布式文件系统 分布式系统 Mapreduce

spark培训视频

http://www.chinahadoop.cn/

spark 培训

mahout类似的开源项目

http://www.oschina.net/search?scope=project&q=mahout spark mllab ...

spark scope oschina

【云数据库直播峰会回顾&资料下载】阿里云15位大咖开年知识分享,全方位解析NoSQL数据库

2018年开年伊始,阿里云数据库团队便带来了一场为期3天的知识盛会。 此次《Redis、MongoDB、HBase大咖直播大讲堂》技术直播峰会由阿里云Redis、MongoDB、HBase的15位技术专家、产品专家给大家带来深度的技术及产品分享,全方位解读NoSQL产品家族,实乃技术迷的福音!

云栖社区 大数据 redis 架构 NOSQL MongoDB hbase 数据库 集群 spark aliyun 云数据库 容灾 云数据库Redis版 云数据库MongoDB版

Openfire开发配置,Openfire源代码配置,OpenFire二次开发配置

1、下载源代码:http://www.igniterealtime.org/downloads/source.jsp   2、把源代码解压出的openfire_src文件夹放至eclipse workplace(注意:若是变更了解压出来的文件名,则接下来所有用到文件名的地方都要作出相应更...

java 服务器 数据库 path eclipse 配置 ADD 控制台 spark openfire

并发编程

1,spark 2,MapReduce 3,MPI,PVM 免费午餐已经结束——软件向并发靠拢 - 软件开发网 - 提供编程开发资料的编程网是通讯同步和通讯性能问题。 并行虚拟机(PVM,Parallel Virtual Machine)和消息传递接口(MPI,Message Passing Interface)是两种广泛使用的消息传递并行编程标准。

性能 同步 spark MPI Machine 编程 Mapreduce

数据产品设计专题(5)- 分布式数据仓库技术架构

一、分布式数据仓库技术架构   二、核心内容解读  (1)分布式数据仓库存储技术:hive+hdfs;  (2)事实计算平台技术框架:spark;  (3)数据挖掘算法技术框架:mllib + sparkR   作者:张子良 出处:http://www.cnblogs.com/hadoopdev 本文版权归作者所有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。

分布式 架构 算法 hdfs 数据仓库 数据挖掘 spark MLlib Hive 存储

zabbix监控java的方法

 最近在做spark的监控,spark原生支持jmx的方式来获取运行的metric,因此采用了zabbix的java gateway做监控。 因为之前也涉及过java应用的监控,这里做小小结: 对于java应用一般会关注3大块的信息:heap,gc,thread.

java 监控 zabbix spark Server 脚本 空格 thread SUN cmd

zabbix表字段类型和value type问题

最近在帮同事搞spark streaming的监控,主要是通过解析servlet的url来获取对应的监控值。 其中有部分值是和时间戳有关系的,java的时间戳是精确到ms的,是13位。 在添加监控后,发现不能正常获取到值。

监控 日志 zabbix spark type 数据类型 数据存储

93
GO