王知无 + 关注
Github: https://github.com/wangzhiwubigdata/God-Of-BigData

王知无 发表了文章:

Redis单线程?别逗了,Redis6.0多线程重磅来袭!

发布时间:2019-08-17 18:26:02 浏览:40 回帖 :0

2019年的 RedisConf 比以往时候来的更早一些,今年会议时间是4月1-3号,仍然是在旧金山鱼人码头Pier 27。恰逢今年是 Redis 第10周年,规模也比以往大一些,注册人数超过160...

redis 性能优化 性能 线程 Image 多线程 云数据库Redis版

王知无 发表了文章:

你确定不来了解一下Redis跳跃表的原理吗

发布时间:2019-07-28 09:06:46 浏览:168 回帖 :0

为什么选择跳跃表目前经常使用的平衡数据结构有:B树,红黑树,AVL树,Splay Tree, Treep等。想象一下,给你一张草稿纸,一只笔,一个编辑器,你能立即实现一颗红黑树,或者AVL树出来吗?...

大数据 redis Image update

王知无 发表了文章:

一文读懂MapReduce

发布时间:2019-07-20 08:39:33 浏览:264 回帖 :0

Hadoop解决大规模数据分布式计算的方案是MapReduce。MapReduce既是一个编程模型,又是一个计算框架。也就是说,开发人员必须基于MapReduce编程模型进行编程开发,然后将程序通过...

大数据 服务器 hadoop 函数 reduce 集群 编程 Mapreduce

王知无 发表了文章:

[大数据之Spark]——Actions算子操作入门实例

发布时间:2019-07-20 08:34:37 浏览:303 回帖 :0

Actions reduce(func) Aggregate the elements of the dataset using a function func (which takes two a...

大数据 Apache 排序 spark scala string list 数组

王知无 发表了文章:

[大数据之Spark]——Transformations转换入门经典实例

发布时间:2019-07-20 08:33:43 浏览:172 回帖 :0

Spark相比于Mapreduce的一大优势就是提供了很多的方法,可以直接使用;另一个优势就是执行速度快,这要得益于DAG的调度,想要理解这个调度规则,还要理解函数之间的依赖关系。 本篇就着重描述下...

大数据 Apache 排序 spark scala string list

王知无 发表了文章:

Spark源码分析之Spark Shell(上)

发布时间:2019-07-20 08:32:26 浏览:197 回帖 :0

终于开始看Spark源码了,先从最常用的spark-shell脚本开始吧。不要觉得一个启动脚本有什么东东,其实里面还是有很多知识点的。另外,从启动脚本入手,是寻找代码入口最简单的方法,很多开源框架,...

大数据 源码 shell spark 脚本 string 表达式 test file

王知无 发表了文章:

Spark Streaming应该如何消费Kafka?

发布时间:2019-07-20 08:31:46 浏览:200 回帖 :0

前言 在项目中,需要对每天千万级的游戏评论信息进行词频统计,在生产者一端,我们将数据按照每天的拉取时间存入了Kafka当中,而在消费者一端,我们利用了spark streaming从kafka中不断...

大数据 性能 Apache spark string

王知无 发表了文章:

Flink动态表

发布时间:2019-07-19 23:50:21 浏览:156 回帖 :0

阿里的一篇文章,可以先看看会对动态表有一个模糊的概念动态表就是一个根据流在动态变化的表。从阿里的例子可以看出,当一个表Stream发生改变的时候,就会引起Keyed Table这张表的一个动态变化,...

大数据 函数 Apache API string stream class void timestamp flink

王知无 发表了文章:

Flink操作Hbase

发布时间:2019-07-19 23:49:36 浏览:206 回帖 :0

现在有这样一个场景,我们需要将hbase做成一个数据流,而不是数据集。根据Flink自带的Flink-Hbase只能帮我们做到数据集,所以这个时候选择了重写Hbase的数据源。 package c...

大数据 java hbase hadoop Apache API string static exception class void PUT list arraylist flink

王知无 发表了文章:

Flink-Redis-Sink

发布时间:2019-07-19 23:47:53 浏览:135 回帖 :0

简介 流式计算中,我们经常有一些场景是消费Kafka数据,进行处理,然后存储到其他的数据库或者缓存或者重新发送回其他的消息队列中。本文讲述一个简单的Redis作为Sink的案例。后续,我们会补充完善...

大数据 redis 消息队列 流式计算 string static Consumer class flink

王知无 发表了文章:

Flink实战项目之实时热销排行

发布时间:2019-07-19 23:45:52 浏览:167 回帖 :0

需求 某个图书网站,希望看到双十一秒杀期间实时的热销排行榜单。我们可以将“实时热门商品”翻译成程序员更好理解的需求:每隔5秒钟输出最近一小时内点击量最多的前 N 个商品/图书. 需求分解 将这个需求...

大数据 c++ string static exception class void input flink

王知无 发表了文章:

Flink-Table-&-SQL

发布时间:2019-07-19 23:45:03 浏览:152 回帖 :0

简介 Apache Flink具有两个关系API - 表API和SQL - 用于统一流和批处理。Table API是Scala和Java的语言集成查询API,允许以非常直观的方式组合来自关系运算符的...

大数据 SQL API string static exception class input flink

王知无 发表了文章:

Flink-Kafka-Connector Flink结合Kafka实战

发布时间:2019-07-19 23:43:42 浏览:185 回帖 :0

简介 Flink-kafka-connector用来做什么? Kafka中的partition机制和Flink的并行度机制结合,实现数据恢复Kafka可以作为Flink的source和sink任务失...

大数据 消息队列 Image Server string exception test zookeeper flink

王知无 发表了文章:

Flink广播变量

发布时间:2019-07-19 23:41:11 浏览:133 回帖 :0

广播变量简介 在Flink中,同一个算子可能存在若干个不同的并行实例,计算过程可能不在同一个Slot中进行,不同算子之间更是如此,因此不同算子的计算数据之间不能像Java数组之间一样互相访问,而广播...

大数据 string exception list flink

王知无 发表了文章:

Flink中的Time

发布时间:2019-07-19 23:39:39 浏览:113 回帖 :0

时间 时间类型 Flink中的时间与现实世界中的时间是不一致的,在flink中被划分为事件时间,摄入时间,处理时间三种。 如果以EventTime为基准来定义时间窗口将形成EventTimeWin...

大数据 消息队列 Processing flink

王知无 发表了文章:

Flink中的窗口

发布时间:2019-07-19 23:39:03 浏览:120 回帖 :0

窗口 窗口类型 flink支持两种划分窗口的方式(time和count) 如果根据时间划分窗口,那么它就是一个time-window 如果根据数据划分窗口,那么它就是一个count-w...

大数据 stream flink

王知无 发表了文章:

Flink的分布式缓存

发布时间:2019-07-19 23:38:14 浏览:136 回帖 :0

分布式缓存 Flink提供了一个分布式缓存,类似于hadoop,可以使用户在并行函数中很方便的读取本地文件,并把它放在taskmanager节点中,防止task重复拉取。此缓存的工作机制如下:程序注...

分布式 大数据 函数 string exception open arraylist flink

王知无 发表了文章:

Flink重启策略

发布时间:2019-07-19 23:37:10 浏览:132 回帖 :0

概述 Flink支持不同的重启策略,以在故障发生时控制作业如何重启 集群在启动时会伴随一个默认的重启策略,在没有定义具体重启策略时会使用该默认策略。 如果在工作提交时指定了一个重启策略,该策略会覆...

大数据 配置 集群 flink

王知无 发表了文章:

Flink从入门到放弃(入门篇4) DataStreamAPI

发布时间:2019-07-19 23:36:06 浏览:128 回帖 :0

DataStream算子将一个或多个DataStream转换为新DataStream。程序可以将多个转换组合成复杂的数据流拓扑。DataStreamAPI和DataSetAPI主要的区别在于Tran...

大数据 函数 reduce string exception flink

王知无 发表了文章:

Flink从入门到放弃(入门篇2)-本地环境搭建&构建第一个Flink应用

发布时间:2019-07-19 23:34:30 浏览:210 回帖 :0

本地安装单机版本Flink 一般来说,线上都是集群模式,那么单机模式方便我们测试和学习。 环境要求 本地机器上需要有 Java 8 和 maven 环境,推荐在linux或者mac上开发Flink应...

大数据 hadoop Apache Maven Image string flink

2
Github: https://github.com/wangzhiwubigdata/God-Of-BigData

感兴趣or擅长的领域:

更多>
更多>
游客w6jrakptj6ecc
游客w6jrakptj6ecc
文章:0丨 粉丝:0丨 话题:0
乾坤莫测
乾坤莫测
文章:0丨 粉丝:0丨 话题:0