设计HBase RowKey需要注意的二三事

发布时间：2020-04-11 13:55:05 浏览：349 回帖 ：0

在HBase中，定位一条数据（即一个Cell）需要4个维度的限定：行键（RowKey）、列族（Column Family）、列限定符（Column Qualifier）、时间戳（Timestamp）...

云栖社区 hbase 排序 存储

Flink常见异常和错误信息小结

发布时间：2020-04-11 13:50:42 浏览：1727 回帖 ：0

Flink的常见异常众多，不可能面面俱到，所以想到哪儿写到哪儿，有漏掉的之后再补充。部署和资源问题(0) JDK版本过低这不是个显式错误，但是JDK版本过低很有可能会导致Flink作业出现各种莫名其妙...

云栖社区 java 日志 Apache 集群 flink

分布式一致性协议的一点笔记

发布时间：2020-02-20 23:41:32 浏览：1024 回帖 ：0

分布式系统中有个著名的原则CAP原则，C为Consistency(一致性)、A为Availability(可用性)、P为Partition tolerance(分区容错性)。这里主要介绍下分布式环境...

云栖社区 数据存储与数据库 分布式 大数据 算法 分布式系统与计算 日志 paxos 集群

Spark源码阅读的正确打开方式

发布时间：2020-02-10 19:25:10 浏览：650 回帖 ：0

Spark发展至今，应该说已经非常成熟了。是大数据计算领域不得不学习的框架。尤其是Spark在稳定性和社区发展的成熟度方面，吊打其他的大数据处理框架。 Spark至今只经历过1.x、2.x和3.x三...

分布式 大数据 源码 集群 内存管理 Image spark

Pulsar与Kafka消费模型对比

发布时间：2019-08-20 00:04:55 浏览：548 回帖 ：0

kafka kafka 属于 Stream 的消费模型，为了支持多 partition 的消费关系，引入了 consumer group 的概念，同时支持在消费端动态的 reblance 操作，当多...

云栖社区 大数据 Image Consumer stream Pulsar

Java中多个ifelse语句的替代设计

发布时间：2019-08-18 10:43:02 浏览：860 回帖 ：0

今天在改老代码的过程中，亲眼见证了一段30个if-else嵌套的代码... 然后搜集了一些资料做了以下简单整理。 概述 ifelse是任何编程语言的重要组成部分。但是我们编写了大量嵌套的if语句，这...

大数据 java string static class 规则引擎

一道真实的面试题 | 如何保证消息队列的高可用

发布时间：2019-08-17 21:03:33 浏览：1534 回帖 ：0

5万人关注的大数据成神之路，不来了解一下吗？5万人关注的大数据成神之路，真的不来了解一下吗？5万人关注的大数据成神之路，确定真的不来了解一下吗？ 欢迎您关注《大数据成神之路》 面试题：如何保证消息...

云栖社区 分布式 大数据 消息队列 高可用 镜像 集群 同步 MQ 数据同步 面试题

你有必要了解一下Flink底层RPC使用的框架和原理

发布时间：2019-08-17 20:52:25 浏览：1098 回帖 ：0

5万人关注的大数据成神之路，不来了解一下吗？5万人关注的大数据成神之路，真的不来了解一下吗？5万人关注的大数据成神之路，确定真的不来了解一下吗？ 欢迎您关注《大数据成神之路》 前言 对于Flink...

RPC 大数据 线程 string Akka class flink

听说你熟悉Flink-On-Yarn的部署模式？

发布时间：2019-08-17 20:45:51 浏览：1284 回帖 ：0

5万人关注的大数据成神之路，不来了解一下吗？5万人关注的大数据成神之路，真的不来了解一下吗？5万人关注的大数据成神之路，确定真的不来了解一下吗？ 欢迎您关注《大数据成神之路》 前言 Flink提供...

大数据 集群 flink

浅谈数据同步之道

发布时间：2019-08-17 20:44:00 浏览：511 回帖 ：0

大数据 Image 数据同步

Spark中几种ShuffleWriter的区别你都知道吗？

发布时间：2019-08-17 20:34:08 浏览：784 回帖 ：0

一.前言 在Spark中有三种shuffle写，分别是BypassMergeSortShuffleWriter、UnsafeShuffleWriter、SortShuffleWriter。分别对应三...

大数据 排序 spark 磁盘 数据结构 存储

Flink UDF自动注册实践

发布时间：2019-08-17 20:29:07 浏览：1761 回帖 ：0

1.注册UDF函数1.1 注册相关方法此处，我们使用的udf函数为标量函数，它继承的是ScalarFunction，该类在我们的使用中，发现它继承自UserDefinedFunction这个类，该处的...

java 函数 Apache runtime string class UDF unit flink

Flink在大规模状态数据集下的checkpoint调优

发布时间：2019-08-17 19:54:14 浏览：2297 回帖 ：0

5万人关注的大数据成神之路，不来了解一下吗？5万人关注的大数据成神之路，真的不来了解一下吗？5万人关注的大数据成神之路，确定真的不来了解一下吗？ 欢迎您关注《大数据成神之路》 今天接到一个同学的反...

大数据 java hdfs hadoop Apache runtime Server 存储 flink

使用Flink实现索引数据到Elasticsearch

发布时间：2019-08-17 19:48:46 浏览：962 回帖 ：0

5万人关注的大数据成神之路，不来了解一下吗？ 5万人关注的大数据成神之路，真的不来了解一下吗？ 5万人关注的大数据成神之路，确定真的不来了解一下吗？ 欢迎您关注《大数据成神之路》 使用Flink处...

大数据 配置 索引 string Elasticsearch void 存储 flink

Apache Flink：Keyed Window与Non-Keyed Window

发布时间：2019-08-17 19:26:48 浏览：693 回帖 ：0

5万人关注的大数据成神之路，不来了解一下吗？5万人关注的大数据成神之路，真的不来了解一下吗？5万人关注的大数据成神之路，确定真的不来了解一下吗？ Apache Flink中，Window操作在流式数...

云栖社区 大数据 Apache Image string stream 编程 flink

Flink Exactly-Once 投递实现浅析

发布时间：2019-08-17 19:17:01 浏览：1143 回帖 ：0

5万人关注的大数据成神之路，不来了解一下吗？ 5万人关注的大数据成神之路，真的不来了解一下吗？ 5万人关注的大数据成神之路，确定真的不来了解一下吗？ 随着近来越来越多的业务迁移到 Flink 上，对...

云栖社区 分布式 大数据 实时系统 流式计算 分布式系统 file Commit 流计算 flink

Flink 网络传输优化技术

发布时间：2019-08-17 18:46:23 浏览：1474 回帖 ：0

5万人关注的大数据成神之路，不来了解一下吗？ 5万人关注的大数据成神之路，真的不来了解一下吗？ 5万人关注的大数据成神之路，确定真的不来了解一下吗？ 作为工业级的流计算框架，Flink 被设计为...

大数据 性能 线程 数据流 Image Server 序列 netty 数组 network flink

Redis单线程？别逗了，Redis6.0多线程重磅来袭！

发布时间：2019-08-17 18:26:02 浏览：2193 回帖 ：0

2019年的 RedisConf 比以往时候来的更早一些，今年会议时间是4月1-3号，仍然是在旧金山鱼人码头Pier 27。恰逢今年是 Redis 第10周年，规模也比以往大一些，注册人数超过160...

redis 性能优化 性能 线程 Image 多线程 云数据库Redis版

你确定不来了解一下Redis跳跃表的原理吗

发布时间：2019-07-28 09:06:46 浏览：966 回帖 ：0

为什么选择跳跃表目前经常使用的平衡数据结构有：B树，红黑树，AVL树，Splay Tree, Treep等。想象一下，给你一张草稿纸，一只笔，一个编辑器，你能立即实现一颗红黑树，或者AVL树出来吗？...

大数据 redis Image update

一文读懂MapReduce

发布时间：2019-07-20 08:39:33 浏览：685 回帖 ：0

Hadoop解决大规模数据分布式计算的方案是MapReduce。MapReduce既是一个编程模型，又是一个计算框架。也就是说，开发人员必须基于MapReduce编程模型进行编程开发，然后将程序通过...

大数据 服务器 hadoop 函数 reduce 集群 编程 Mapreduce