五维空间s + 关注

五维空间s 发表了文章:

SparkStreaming中foreachRDD、foreachPartition和foreach 及序列化问题

发布时间:2019-06-27 17:32:21 浏览:287 回帖 :0

最近项目遇到报错序列化相关问题,于是把这三个拿出来分析一下,先来看下foreachRDD、foreachPartition和foreach的不同之处。不同主要在于它们的作用范围不同,foreachRD...

Driver

五维空间s 发表了文章:

生产实践Kafka与ELK

发布时间:2019-03-12 18:07:22 浏览:592 回帖 :0

项目背景,第三方发送数据到kafka。我方负责消费,解码、存储、入库。 开发环境:集群1.0kafka,springboot开发程序 问题:1.kafka服务端与客户端版本不一致,服务端1.0,客户...

监控 线程 配置 集群 开发环境 kafka

五维空间s 发表了文章:

kafka 的有序与无序

发布时间:2019-03-12 15:31:56 浏览:941 回帖 :0

同时创建kafka生产者produce,kafka消费者consumer,其中我们的topic创建了3个分区,  生产者发送几条数据,使用命令查看消费。 可以看到刚刚生产的这几条数据,当我退出...

SQL Json Consumer update

五维空间s 发表了文章:

分布式消息队列kafka

发布时间:2019-03-12 15:31:35 浏览:524 回帖 :0

kafka是Linkedin开源的分布式发布-订阅消息系统(消息队列) kafka特点 1 高吞吐率、低延迟,每秒处理几十万消息,延迟最低几毫秒 2 可扩展性,支持动态扩展节点数据 3 持久性与可靠...

分布式 消息系统 架构 消息队列 高并发 可扩展性 Consumer 磁盘 Group

五维空间s 发表了文章:

Spark Streaming 的saveAsTextFiles遇到的坑

发布时间:2019-01-10 17:12:36 浏览:1128 回帖 :0

使用sparkStreaming消费数据,并使用Dstream的 saveAsTextFile保存数据到hdfs中,通过使用这个方法,生成的文件夹存在问题, 代码例子如下:     resultR...

hdfs 源码 spark string prefix file

五维空间s 发表了文章:

Spark基本的RDD算子之groupBy,groupByKey,mapValues

发布时间:2018-11-29 23:02:53 浏览:2053 回帖 :0

1. groupby def groupBy[K: ClassTag](f: T => K): RDD[(K, Iterable[T])] def groupBy[K: ClassTag](f...

函数 spark string 编程 list Group

五维空间s 发表了文章:

kafka部署及命令

发布时间:2018-10-24 22:25:35 浏览:541 回帖 :0

hadoop path 配置 scala Server zookeeper

五维空间s 发表了文章:

Compression压缩

发布时间:2018-09-03 23:16:53 浏览:646 回帖 :0

压缩所带来的好处,磁盘、IO,都来带来很多好处,同时也有很多的弊端。 生产环境经常用的集中压缩  gzip  、 bzip2 、LZO、Snappy Bzip2 压缩比30%   ---支持分割 ...

gzip hadoop Apache 配置 索引 xml 磁盘 Mapreduce

五维空间s 发表了文章:

Yarn 日志存储配置

发布时间:2018-08-21 23:11:29 浏览:1102 回帖 :0

我们知道,yarn上能够监控运行的spark情况,但是一个程序运行完后就会被销毁,看不到了。 所以我们需要在程序运行完也能看到日志,这是就需要配置我们的参数了 1.进入spark conf下,...

监控 hdfs 日志 配置 浏览器 spark 存储

五维空间s 发表了文章:

svn 服务器搭建

发布时间:2018-08-07 23:54:42 浏览:2185 回帖 :0

linux 服务器 配置 SVN subversion

五维空间s 发表了文章:

使用python 自动化监控进程

发布时间:2018-08-06 14:47:16 浏览:1476 回帖 :0

linux python 监控 Server 脚本 static source

五维空间s 发表了文章:

Spark SQL程序设计(2)

发布时间:2018-08-06 14:21:49 浏览:650 回帖 :0

SQL Json spark scala string read

五维空间s 发表了文章:

Spark SQL程序设计(1)

发布时间:2018-03-01 18:16:02 浏览:912 回帖 :0

Spark SQL编写流程 1. SparkSession对象 封装了spark sql执行环境信息,是所有Spark SQL程序的唯一入口 sparkSession中包含  sparkCo...

云栖社区 SQL Json Apache spark DataFrame string class read

五维空间s 发表了文章:

Spark高级-广播变量

发布时间:2018-02-26 13:47:35 浏览:1394 回帖 :0

云栖社区 分布式 集群 spark IP

五维空间s 发表了文章:

HBase shell 示例

发布时间:2018-01-22 14:20:48 浏览:821 回帖 :0

云栖社区 hbase hdfs hadoop shell bloomfilter PUT timestamp Blog Mapreduce

五维空间s 发表了文章:

列式存储

发布时间:2018-01-19 12:34:08 浏览:782 回帖 :0

在大数据的HBase中与Hive中都有用到列(族)式存储,列式存储被广泛应用,有关于HBase讲解,请访问我的 https://yq.aliyun.com/articles/376750?spm=a...

云栖社区 分布式 大数据 gzip hbase 多线程 存储 数据类型 列式存储

五维空间s 发表了文章:

Hadoop组件--分布式数据库HBase

发布时间:2018-01-18 17:45:13 浏览:1210 回帖 :0

 1. HBase概述 先来看下HBase在Hadoop生态中的位置 HBase是Apache Hadoop⽣态系统中的重要⼀员,主要⽤于海量结构化数据存储。 HBase是一个构建在HDFS...

云栖社区 分布式 hbase hdfs hadoop 数据库 云存储 负载均衡 PUT 分布式存储 Mapreduce 存储 数据类型 数据存储

五维空间s 发表了文章:

Spark基础 --RDD详解

发布时间:2018-01-17 18:18:31 浏览:847 回帖 :0

云栖社区 大数据 函数 reduce spark 数组

暂未提供

感兴趣or擅长的领域:

暂无
更多>
更多>
乐乐小石头
乐乐小石头
文章:0丨 粉丝:0丨 话题:0
scottdoge
scottdoge
文章:0丨 粉丝:0丨 话题:0
赢博赛尔
赢博赛尔
文章:0丨 粉丝:0丨 话题:0