xiaohei.info + 关注

Kafka最佳实践

发布时间:2019-11-28 09:16:03 浏览:461 评论 :0

前言 Kafka 是一种分布式的,基于发布/订阅体系的消息队列系统。 能够以 时间复杂度为 O(1) 的方式提供消息持久化能力,即使对 TB 级以上数据也能保证 常数时间复杂度 的访问性能。 即使在非常廉价的商用机器上也能做到单机支持每秒 100K 条以上消息的传输。

分布式系统与计算 消息队列 性能 线程 配置 集群 同步 磁盘 存储 数据存储

Flink最佳实践(二)Flink流式计算系统

发布时间:2019-11-25 09:34:24 浏览:4580 评论 :0

前言 在 Flink最佳实践(一)流式计算系统概述 中,我们详细讨论了流式计算系统中 时域、窗口、时间推理与正确性工具 等概念。 本文将以这些概念为基础,逐一介绍 Flink 的 发展背景、核心概念、时间推理与正确性工具、安装部署、客户端操作、编程API 等内容,让开发人员对 Flink 有较为全面的认识并拥有一些基础操作与编程能力。

windows 数据流 集群 流式计算 scala API string session 存储 input 流计算 flink

Flink最佳实践(一)流式计算系统概述

发布时间:2019-11-19 13:47:57 浏览:702 评论 :0

前言 传统的批处理拥有巨大 吞吐量 的优势,但是随之而来的是极其 高延迟 的缺陷。 随着大数据系统的不断发展,传统的批处理已然无法全部满足对 时效性 要求愈加严苛的业务需求。 为了适应逐渐变得 「实时」 的年代,大数据系统架构也由简单的批处理转向批流混合的Lambda架构,最后可能会逐渐演变成只有流计算的 高精准高时效 的Kappa架构。

数据流 流式计算 流计算 flink 流数据

个人信息安全管理条例解释

发布时间:2019-11-19 13:47:20 浏览:3492 评论 :0

一、前言 近年来,随着信息技术的快速发展和互联网应用的普及,越来越多的组织大量收集、使用个人信息。给人们生活带来便利的同时,也出现了对个人信息的 非法收集、滥用、泄露 等问题,个人信息安全面临严重威胁。

大数据 安全 数据安全 数据管理 信息安全

Spark最佳实践-项目规范

发布时间:2019-11-19 13:46:18 浏览:554 评论 :0

前言 大数据开发的日常工作中,开发人员经常需要使用 Spark、Flink 等计算引擎作为工具来实现一些 业务逻辑 的计算。 以 Spark 为例,开发人员会使用 SparkSQL、DataFrame、RDD 等不同形式的API来实现业务需求。

大数据 函数 模块 spark DataFrame API Server service

Spark最佳实践

发布时间:2019-11-19 13:45:09 浏览:583 评论 :0

前言 本文主要分为四个部分: 分布式计算概览:第一章将会从基础的 分布式计算理论 开始,讨论一个分布式计算系统需要实现哪些 主要的功能,以及业界通用的解决方案,并在最后简单扩展了下分布式计算系统的发展历程。

内存管理 spark 分布式计算 磁盘 Mapreduce

CDH集群部署最佳实践

发布时间:2019-11-19 13:38:11 浏览:4099 评论 :0

一、集群规划 如果你正准备从0开始搭建一套CDH集群应用于生产环境,那么此时需要做的事情应该是 结合当前的数据、业务、硬件、节点、服务等对集群做合理的规划,而不是马上动手去安装软件。 合理的集群规划应该做到以下几点: 充分了解当前的数据现状 与业务方深入沟通,了解将会在集群上运行的业务,集群将会...

大数据 服务器 mysql hbase hdfs hadoop Apache shell path 配置 集群 主机 rpm spark cdh

HBase最佳实践

发布时间:2019-11-19 13:36:27 浏览:1035 评论 :0

本文致力于从架构原理、集群部署、性能优化与使用技巧等方面,阐述在如何基于HBase构建 容纳大规模数据、支撑高并发、毫秒响应、稳定高效的OLTP实时系统 。 一、架构原理 1.1 基本架构 从上层往下可以看到HBase架构中的角色分配为: Client Zookeeper HMaster RegionServer HDFS Client Client是执行查询、写入等对HBase表数据进行增删改查的使用方,可以是使用HBase Client API编写的程序,也可以是其他开发好的HBase客户端应用。

分布式系统与计算 hbase 配置 集群 索引 磁盘 zookeeper 存储

Spark分布式计算引擎的应用

发布时间:2018-12-06 19:59:17 浏览:952 评论 :0

python 线程 spark 分布式计算 分布式存储 Mapreduce 存储

CDH5.3配置Kerberos+LDAP+Sentry记录

发布时间:2016-09-06 11:35:55 浏览:1308 评论 :0

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/52448478 系统环境说明 操作系统:Centos6.

hdfs hadoop 配置 集群 Hive schema

HBase客户端API使用

发布时间:2016-07-21 19:07:59 浏览:454 评论 :0

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/51985735 篇幅中使用的HBase版本为1.

hbase Apache 配置 API string static class void zookeeper

HBase集群管理

发布时间:2016-07-20 19:01:21 浏览:599 评论 :0

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/51971154 通过之前...

服务器 hbase hadoop 根目录 集群 主机 同步 replication

HBase概览

发布时间:2016-07-20 13:43:45 浏览:582 评论 :0

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/51967545 近期准备...

分布式 hbase 高并发 配置 集群 负载均衡 Server 分布式数据库 存储

HBase性能优化指南

发布时间:2016-07-19 16:55:24 浏览:561 评论 :0

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/51957401 垃圾回收...

算法 java 性能优化 服务器 hbase 性能 配置 集群 磁盘

HBase高级用法

发布时间:2016-07-18 09:52:35 浏览:449 评论 :0

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/51939417 行健设计...

hbase 排序 索引 存储

HBase构架

发布时间:2016-07-12 19:34:19 浏览:444 评论 :0

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/51891890 存储结构...

服务器 hbase 日志 配置 集群 磁盘 数据恢复 存储

Hadoop集群管理

发布时间:2016-05-22 11:30:14 浏览:460 评论 :0

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/51474289 HDFS...

安全 hdfs hadoop 配置 集群 数据备份 Mapreduce 存储

构架Hadoop集群

发布时间:2016-05-14 09:59:11 浏览:417 评论 :0

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/51404403 Hado...

hdfs hadoop 日志 配置 reduce 集群 主机 脚本 磁盘 Mapreduce

MapReduce高级特性

发布时间:2016-05-10 20:35:43 浏览:494 评论 :0

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/51366342 计数器 ...

hadoop 集群 排序 并行计算 Mapreduce

9