涂作权 + 关注
java,架构,编程语言相关专家

涂作权 发表了文章:

mapreduce的shuffle机制(来自学习笔记)

发布时间:2017-06-03 11:41:00 浏览:2955 回帖 :0

3. MAPREDUCE原理篇(2) 3.1 mapreduce的shuffle机制 3.1.1 概述: v  mapreduce中,map阶段处理的数据如何传递给reduce阶段,是mapr...

reduce 排序 磁盘 Mapreduce

涂作权 发表了文章:

技术主管和架构师的职责

发布时间:2017-06-02 13:32:00 浏览:1316 回帖 :0

技术主管的职责要求: 技术职责  研发任务管理 工作量评估 任务分解、分配 代码审核 风险识别 技术能力提升 代码规范制定和推广 生产力工具研发和推广 最佳实践总结和推广 关键代码实现 组织...

架构

涂作权 发表了文章:

使用Mapreduce案例编写用于统计文本中单词出现的次数的案例、mapreduce本地运行等,Combiner使用及其相关的知识,流量统计案例和流量总和以及流量排序案例,自定义Partitioner

发布时间:2017-06-02 01:03:00 浏览:2153 回帖 :0

工程结构: 在整个案例过程中,代码如下: WordCountMapper的代码如下: package cn.toto.bigdata.mr.wc;   import java.io.IO...

hadoop Apache 排序 string class void Mapreduce 数据类型 input

涂作权 发表了文章:

MapReduce原理与设计思想(转载:http://blog.jobbole.com/80619/)

发布时间:2017-06-02 00:50:00 浏览:1766 回帖 :0

简单解释 MapReduce 算法 一个有趣的例子 你想数出一摞牌中有多少张黑桃。直观方式是一张一张检查并且数出有多少张是黑桃? MapReduce方法则是: 给在座的所有玩家中分配这摞牌 让...

大数据 算法 服务器 程序员 函数 http 数据处理 reduce 集群 string 并行计算 磁盘 Blog Mapreduce 存储

涂作权 发表了文章:

模拟MapReduce编程的程序案例(用于统计文本中单词出现频率)

发布时间:2017-06-01 02:09:00 浏览:1116 回帖 :0

本案例要实现的目标: 1、模拟修改配置,通过发指令的方式统计一个文件中出现的单词的字数。 案例代码结构如下: 在整个案例中需要有以下几类文件: A:worker服务端,用于类似Mapreduc...

java 配置 string static exception class 编程 void read Socket Mapreduce hashmap

涂作权 发表了文章:

Hadoop-rpc调用案例,服务端,客户端代码案例

发布时间:2017-05-31 19:30:00 浏览:1478 回帖 :0

1. Hadoop-rpc框架 在hadoop中提供了一个rpc框架,通过这个rpc框架可以编写一个rpc服务端程序,然后发布出去供客户端调用。 1.1.服务端代码 其中服务端(example-h...

RPC java hadoop Apache path Server string static class metadata

涂作权 发表了文章:

NAMENODE工作机制,元数据管理(元数据存储机制、元数据手动查看)、元数据的checkpoint、元数据目录说明(来自学习资料)

发布时间:2017-05-30 19:03:00 浏览:1850 回帖 :0

NAMENODE工作机制 学习目标:理解namenode的工作机制尤其是元数据管理机制,以增强对HDFS工作原理的理解,及培养hadoop集群运营中“性能调优”、“namenode”故障问题的分析...

安全 hdfs hadoop 配置 集群 磁盘 数据结构 存储 数据存储 数据管理

涂作权 发表了文章:

HDFS的工作机制,HDFS写数据流程,HDFS读数据流程(来自学习资料)

发布时间:2017-05-30 17:31:00 浏览:1151 回帖 :0

4.hdfs的工作机制 (工作机制的学习主要是为加深对分布式系统的理解,以及增强遇到各种问题时的分析解决能力,形成一定的集群运维能力)   注:很多不是真正理解hadoop技术体系的人会常常觉得H...

服务器 hdfs 集群 pipeline 分布式系统 分布式存储 磁盘

涂作权 发表了文章:

HDFS的API调用,创建Maven工程,创建一个非Maven工程,HDFS客户端操作数据代码示例,文件方式操作和流式操作

发布时间:2017-05-30 16:56:00 浏览:2470 回帖 :0

1. HDFS的java操作 hdfs在生产应用中主要是客户端的开发,其核心步骤是从hdfs提供的api中构造一个HDFS的访问客户端对象,然后通过该客户端对象操作(增删改查)HDFS上的文件 ...

hdfs hadoop Apache path 配置 Maven API exception void test findbugs

涂作权 发表了文章:

HDFS命令行客户端使用,命令行客户端支持的命令参数,常用命令参数介绍

发布时间:2017-05-30 01:36:00 浏览:1294 回帖 :0

3.HDFS的shell(命令行客户端)操作 3.1 HDFS命令行客户端使用 HDFS提供shell命令行客户端,使用方法如下: [toto@hadoop hadoop-2.8.0]$ h...

hdfs hadoop path Hive replication JDK findbugs

涂作权 发表了文章:

Linux下快速搭建ntp时间同步服务器(转载:http://www.linuxidc.com/Linux/2014-07/104371.htm)

发布时间:2017-05-29 22:47:00 浏览:1624 回帖 :0

背景: 服务器多了,时间是否一致以及是否准备就显得格外重要,虽然这个问题总是被忽略,但是统一时间是很有必要的,因为时间问题导致服务出现问题也是司空见惯,本文简单介绍Linux下ntp的快速搭建和使...

linux 服务器 域名 http 配置 同步

涂作权 发表了文章:

datenode节点超时时间设置,Hadoop启动不正常,HDFS冗余数据块的自动删除,NameNode安全模式问题,ntp时间服务同步,机架感知配置

发布时间:2017-05-29 22:43:00 浏览:2265 回帖 :0

1.Hadoop datanode节点超时时间设置 datanode进程死亡或者网络故障造成datanode无法与namenode通信,namenode不会立即把该节点判定为死亡,要经过一段时间,...

安全 java hdfs hadoop Apache 配置 集群 主机 同步 Server 脚本 数据节点

涂作权 发表了文章:

HDFS设计思路,HDFS使用,查看集群状态,HDFS,HDFS上传文件,HDFS下载文件,yarn web管理界面信息查看,运行一个mapreduce程序,mapreduce的demo

发布时间:2017-05-29 15:54:00 浏览:1859 回帖 :0

26 集群使用初步 HDFS的设计思路 l 设计思想   分而治之:将大文件、大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据进行运算分析;   l 在大数据系统中作用...

分布式 hdfs hadoop web 集群 class PUT demo file Mapreduce 数据类型 input findbugs 海量数据

涂作权 发表了文章:

Hadoop-2.8.0集群搭建、hadoop源码编译和安装、host配置、ssh免密登录、hadoop配置文件中的参数配置参数总结、hadoop集群测试,安装过程中的常见错误

发布时间:2017-05-29 02:11:00 浏览:3938 回帖 :0

25. 集群搭建 25.1 HADOOP集群搭建 25.1.1集群简介 HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起 HDFS集群...

java hdfs hadoop Apache http 源码 配置 集群 SSH 测试

涂作权 发表了文章:

本地编译Hadoop2.8.0源码总结和问题解决(转自:http://blog.csdn.net/young_kim1/article/details/50324345)

发布时间:2017-05-28 23:31:00 浏览:1188 回帖 :0

编译准备 1、下载所需的软件 先去官网下载hadoop2.8.0源码并解压,打开解压目录下的BUILDING.txt,编译过程和需要的软件其实就是根据这个文档里的描述来的。 (可以通过命令下载:...

native hadoop Apache http 源码 配置 Maven Blog findbugs

涂作权 发表了文章:

通过源码的方式编译hadoop的安装文件

发布时间:2017-05-27 00:27:00 浏览:933 回帖 :0

Hadoop2.4.0  重新编译 64  位本地库原创作者:大鹏鸟 时间:2014-07-28环境:虚拟机 VirtualBox,操作系统 64 位 CentOS 6.4下载重新编译需要的软件包...

native hdfs hadoop Apache 源码 配置 source Mapreduce makefile findbugs

涂作权 发表了文章:

分布式系统概述(来自学习资料)

发布时间:2017-05-26 23:45:00 浏览:998 回帖 :0

2 分布式系统概述 注:由于大数据技术领域的各类技术框架基本上都是分布式系统,因此,理解hadoop、storm、spark等技术框架,都需要具备基本的分布式系统概念   2.1 分布式软件系统(...

分布式 大数据 服务器 模块 集群 solr 索引 分布式文件系统 分布式系统 分布式数据库

涂作权 发表了文章:

什么是HADOOP、产生背景、在大数据、云计算中的位置和关系、国内外HADOOP应用案例介绍、就业方向、生态圈以及各组成部分的简介(学习资料中的文档材料)

发布时间:2017-05-26 20:30:00 浏览:2519 回帖 :0

1. HADOOP背景介绍 1. 1.1 什么是HADOOP 1.        HADOOP是apache旗下的一套开源软件平台 2.        HADOOP提供的功能:利用服务器集群,...

分布式 大数据 hdfs hadoop 数据仓库 集群 数据分析 数据挖掘 索引 分布式计算 分布式文件系统 数据采集 Mapreduce 存储

涂作权 发表了文章:

dubbo控制中心部署,权重配置,以及管控台中各个配置的简单查看

发布时间:2017-05-26 13:09:00 浏览:1964 回帖 :0

dubbo给我们提供了现成的后台管理网站,专门管理这些服务,应用,路由规则,动态配置,访问控制、权重控制、负载均衡等等,还可以查看系统日志,系统状态,系统环境等等,功能很是强大,通过这个后台,可以...

http 源码 eclipse 配置 tomcat test zookeeper service

涂作权 发表了文章:

Maven+SpringMVC+Dubbo+zookeeper 简单的入门demo配置

发布时间:2017-05-26 11:40:00 浏览:2870 回帖 :0

参考:http://blog.csdn.net/aixiaoyang168/article/details/51362675 dubbo是一个分布式服务框架,致力于提供高性能和透明化的RPC远程...

Apache http spring web 配置 Maven xml schema demo plugin Servlet MVC zookeeper springmvc service

3
更多>
更多>
zignge6chgrvm
zignge6chgrvm
文章:0丨 粉丝:0丨 话题:0
游客z2oieb32otuwm
游客z2oieb32otuwm
文章:0丨 粉丝:0丨 话题:0
游客kkvv6tii6jgf6
游客kkvv6tii6jgf6
文章:0丨 粉丝:0丨 话题:0
泰勒run
泰勒run
文章:0丨 粉丝:0丨 话题:0
richhot
richhot
文章:0丨 粉丝:0丨 话题:0
游客h6qwr2lb7olcq
游客h6qwr2lb7olcq
文章:0丨 粉丝:0丨 话题:0