涂作权 + 关注
java,架构,编程语言相关专家

涂作权 发表了文章:

Flume监听文件夹中的文件变化,并把文件下沉到hdfs

发布时间:2017-06-13 23:52:00 浏览:2543 回帖 :0

1、采集目录到HDFS 采集需求:某服务器的某特定目录下,会不断产生新的文件,每当有新文件出现,就需要把文件采集到HDFS中去 根据需求,首先定义以下3大要素 采集源,即so...

监控 hdfs hadoop events 配置 source type

涂作权 发表了文章:

模拟使用Flume监听日志变化,并且把增量的日志文件写入到hdfs中

发布时间:2017-06-13 22:32:00 浏览:4458 回帖 :0

1.采集日志文件时一个很常见的现象 采集需求:比如业务系统使用log4j生成日志,日志内容不断增加,需要把追加到日志文件中的数据实时采集到hdfs中。 1.1.根据需求...

hdfs hadoop 日志 LOG 配置 test source

涂作权 发表了文章:

Flume安装部署,采集方案配置文件编写案例,启动agent采集数据

发布时间:2017-06-13 20:17:00 浏览:1522 回帖 :0

1.2 Flume实战案例 1.2.1 Flume的安装部署 1、Flume的安装非常简单,只需要解压即可,当然,前提是已有hadoop环境 上传安装包到数据源所在节点...

hadoop 配置 agent logger 测试 source type

涂作权 发表了文章:

日志采集框架Flume、Flume介绍、概述、运行机制、Flume采集系统结构图(1、简单结构、复杂结构)

发布时间:2017-06-13 17:08:00 浏览:1457 回帖 :0

1. 日志采集框架Flume 1.1 Flume介绍 1.1.1 概述 1.Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 2.Flum...

分布式 日志 高可用 agent 分布式系统 数据采集 存储

涂作权 发表了文章:

Hive内置运算函数,自定义函数(UDF)和Transform

发布时间:2017-06-13 16:27:00 浏览:2876 回帖 :0

4.Hive函数 4.1 内置运算符 内容较多,见《Hive官方文档》   4.2 内置函数 内容较多,见《Hive官方文档》 https://cwiki.apache.org/conflue...

hadoop 函数 Apache 数据仓库 空格 Hive class UDF timestamp

涂作权 发表了文章:

Hive常用运算(关系运算)、逻辑运算与数学运算、数值运算、日期函数、条件函数、字符串函数

发布时间:2017-06-11 17:00:00 浏览:1392 回帖 :0

hive 常用运算 第一部分:关系运算 Hive支持的关系运算符 •常见的关系运算符 •等值比较: = •不等值比较: <> •小于比较: < •小于等于比较: <= •大...

函数 正则表达式 string 表达式 Hive Unix 数据类型

涂作权 发表了文章:

Hive基本操作,DDL操作(创建表,修改表,显示命令),DML操作(Load Insert Select),Hive Join,Hive Shell参数(内置运算符、内置函数)等

发布时间:2017-06-11 16:12:00 浏览:2239 回帖 :0

1.  Hive基本操作 1.1  DDL操作 1.1.1    创建表 建表语法 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name  ...

函数 shell 配置 reduce string Hive Create DML timestamp

涂作权 发表了文章:

Hive分区、分桶操作及其比较(转自:http://blog.csdn.net/epitomizelu/article/details/41911657)

发布时间:2017-06-11 14:46:00 浏览:2076 回帖 :0

1,Hive分区。      是指按照数据表的某列或某些列分为多个区,区从形式上可以理解为文件夹,比如我们要收集某个大型网站的日志数据,一个网站每天的日志数据存在同一张表上,由于每天会生成大量的日...

hdfs 日志 http Hive 分区表 Blog 存储 数据类型

涂作权 发表了文章:

函数分类,HIVE CLI命令,简单函数,聚合函数,集合函数,特殊函数(窗口函数,分析函数,混合函数,UDTF),常用函数Demo

发布时间:2017-06-11 13:40:00 浏览:1558 回帖 :0

1.1. 函数分类 1.2. HIVE CLI命令 显示当前会话有多少函数可用 SHOW FUNCTIONS; 显示函数的描述信息 DESC FUNCTION concat; 显示函数的...

函数 正则表达式 BY string Hive demo 数组 view

涂作权 发表了文章:

HIVE的安装配置、mysql的安装、hive创建表、创建分区、修改表等内容、hive beeline使用、HIVE的四种数据导入方式、使用Java代码执行hive的sql命令

发布时间:2017-06-10 22:11:00 浏览:6273 回帖 :0

1.上传tar包这里我上传的是apache-hive-1.2.1-bin.tar.gz2.解压         mkdir -p /home/tuzq/software/hive/ tar -z...

java mysql hadoop SQL 配置 string JDBC Hive test 分区表 Create

涂作权 发表了文章:

Hive简介、什么是Hive、为什么使用Hive、Hive的特点、Hive架构图、Hive基本组成、Hive与Hadoop的关系、Hive与传统数据库对比、Hive数据存储(来自学习资料)

发布时间:2017-06-10 19:28:00 浏览:2058 回帖 :0

1.1 Hive简介 1.1.1   什么是Hive Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。 1.1.2   为什...

架构 hdfs hadoop SQL 数据库 数据仓库 集群 可扩展性 索引 并行计算 Hive Mapreduce 存储 数据存储

涂作权 发表了文章:

hdfs haadmin使用,DataNode动态上下线,NameNode状态切换管理,数据块的balance,HA下hdfs-api变化(来自学习资料)

发布时间:2017-06-10 19:13:00 浏览:1082 回帖 :0

1.2.4集群运维测试 HA集群中两个namenode状态的管理命令 [root@mini2 hadoop-2.6.4]# bin/hdfs haadmin Usage: DFSHAAdm...

hdfs hadoop path 配置 集群 HA 磁盘

涂作权 发表了文章:

hadoop-HA集群搭建,启动DataNode,检测启动状态,执行HDFS命令,启动YARN,HDFS权限配置,C++客户端编程,常见错误

发布时间:2017-06-10 13:49:00 浏览:4850 回帖 :0

本篇博文为整理网络上Hadoop-HA搭建后出来的博客,参考网址为:http://blog.chinaunix.net/uid-196700-id-5751309.html 3. 部署 3.1. ...

java hdfs hadoop c++ Apache 配置 集群 Server xml 编程 Mapreduce

涂作权 发表了文章:

Hadoop的HA机制

发布时间:2017-06-08 19:06:00 浏览:936 回帖 :0

 Hadoop的HA机制 前言:正式引入HA机制是从hadoop2.0开始,之前的版本中没有HA机制 1.1HA的运作机制 (1)hadoop-HA集群运作机制介绍 所谓HA,即高可用(7*24小...

监控 hdfs hadoop 高可用 集群 单点故障 存储 数据管理

涂作权 发表了文章:

MapReduce多个job同时使用的方式(从网上找到的案例,原始博文:http://www.cnblogs.com/yjmyzz/p/4540469.html)

发布时间:2017-06-04 20:47:00 浏览:1791 回帖 :0

复杂的MapReduce处理中,往往需要将复杂的处理过程,分解成多个简单的Job来执行,第1个Job的输出做为第2个Job的输入,相互之间有一定依赖关系。以上一篇中的求平均数为例,可以分解成三个步...

hadoop Apache http path string static class void html Mapreduce

涂作权 发表了文章:

MapReduce 计数器简介(转载自:http://www.tuicool.com/articles/qqyIBr)

发布时间:2017-06-04 15:47:00 浏览:743 回帖 :0

1、计数器 简介 在许多情况下,一个用户需要了解待分析的数据,尽管这并非所要执行的分析任务 的核心内容。以统计数据集中无效记录数目的任务为例,如果发现无效记录的比例 相当高,那么就需要认真思考为何...

hdfs hadoop 线程 Apache http reduce class read Group Mapreduce input

涂作权 发表了文章:

Mapreduce和Yarn概念,参数优化,作用,原理,MapReduce计数器 Counter,MapReduce 多job串联之ControlledJob(来自学习资料)

发布时间:2017-06-04 14:33:00 浏览:969 回帖 :0

3.3. MapReduce与YARN 3.3.1 YARN概述 Yarn是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而mapreduce等运算程序则...

配置 reduce class Mapreduce

涂作权 发表了文章:

Hadoop中通过ToolRunner和Configured实现直接读取命令行动态出入reduce task数量,jar文件等

发布时间:2017-06-04 02:26:00 浏览:965 回帖 :0

一个典型的实现Tool的程序: /** MyApp 需要从命令行读取参数,用户输入命令如, $bin/hadoop jar MyApp.jar -archives test.tgz  ...

java hadoop 函数 path 配置 reduce string static exception class Mapreduce

涂作权 发表了文章:

MapReduce将小文件合并成大文件,并设置每个切片的大小的案例

发布时间:2017-06-04 01:42:00 浏览:1753 回帖 :0

测试代码: package cn.toto.bigdata.combinefile; import java.io.IOException; import org.apache.hadoop...

hadoop Apache path static class Mapreduce input

涂作权 发表了文章:

通过MapReduce统计每个单子在每个文件中出现的次数(FileSplit的使用),单词作为key,所在文本和次数作为value进行统计

发布时间:2017-06-03 16:33:00 浏览:1010 回帖 :0

代码如下: package cn.toto.bigdata.mr.index; import java.io.IOException; import org.apache.hadoop.co...

hadoop Apache path string static class void index Mapreduce 数据类型

3
更多>
更多>
进攻博物馆
进攻博物馆
文章:0丨 粉丝:0丨 话题:0
游客dvteophpygy6g
游客dvteophpygy6g
文章:0丨 粉丝:0丨 话题:0
1591339930719509
1591339930719509
文章:0丨 粉丝:0丨 话题:0
zz2019
zz2019
文章:0丨 粉丝:2丨 话题:0
马小马码代码
马小马码代码
文章:0丨 粉丝:0丨 话题:0
1839218201099522
1839218201099522
文章:0丨 粉丝:0丨 话题:0