sh_jepson + 关注
遇之问题,与之斗争,穷尽方法,提高自己,重新再来。 https://github.com/Hackeruncle

sh_jepson 发表了文章:

发布时间:2018-04-09 11:01:02 浏览:725 回帖 :0

背景: Kafka集群在一个192.168.0.x网段的,而我们的生产者在192.168.17.x网段的一台机器上,故当生产者发送消息给Kafka时, 无法将消息发...

配置 集群 测试 demo metadata Blog

sh_jepson 发表了文章:

Batch containing 11 record(s) expired due to timeout while requesting metadata

发布时间:2018-04-08 13:49:35 浏览:2281 回帖 :0

背景: Kafka集群在一个192.168.0.x网段的,而我们的生产者在192.168.17.x网段的一台机器上,故当生产者发送消息给Kafka时, 无法将消息发...

配置 集群 测试 demo metadata Blog

sh_jepson 发表了文章:

【记录】:CentOS清理swap和buffer/cache

发布时间:2017-11-28 09:37:13 浏览:998 回帖 :0

swap清理: swapoff -a && swapon -a  注意:这样清理有个前提条件,空闲的内存必须比已经使用的swap空间大cache清理: sy...

Cache centos

sh_jepson 发表了文章:

java.io.IOException: Connection reset by peer

发布时间:2017-10-24 12:08:37 浏览:3474 回帖 :0

一.场景:     spark通过phoenix 读取hbase表,其实说白了先要去Zookeeper建立connection。二.代码: 点击(...

java hadoop Apache 配置 spark BY Server exception stream read thread Socket SUN zookeeper

sh_jepson 发表了文章:

maven报错:找不到符号

发布时间:2017-08-14 18:46:01 浏览:773 回帖 :0

                                                                                ...

Maven

sh_jepson 发表了文章:

Kubernetes node的防火墙问题导致pod ip无法访问

发布时间:2017-07-06 14:01:23 浏览:1062 回帖 :0

环境: 1.在hadoop36机器,ping hadoop38机器的pod的ip,为172.30.1.4 2.该pod的service的external-ip的ip...

docker hadoop 防火墙 node Ping DNS source service input

sh_jepson 发表了文章:

Maven-3.3.9 Install and Oozie-4.3.0 Compile

发布时间:2017-04-25 17:56:37 浏览:896 回帖 :0

1.Java版本1.8[root@sht-sgmhadoopdn-04 app]# java -versionjava version "1.8.0_66"Java(T...

Apache Maven

sh_jepson 发表了文章:

Azkaban Install and Schedule Job

发布时间:2017-04-21 16:36:19 浏览:616 回帖 :0

1.git clone and buid [root@sht-sgmhadoopdn-04 app]# git clone https://github.com/azk...

LOG Server 脚本 git open Create file

sh_jepson 发表了文章:

记录CDH安装的一个坑:could not contact scm server at localhost:7182, giving up

发布时间:2017-04-19 18:47:50 浏览:927 回帖 :0

错误:   在web界面安装 agent那一步,抛错,单击信息查看如下初步分析: 是用localhost:7182 无法连接scm server ...

python 防火墙 agent Server service network

sh_jepson 发表了文章:

谈谈我和大数据的情缘及入门

发布时间:2017-04-16 16:00:06 浏览:521 回帖 :0

    当年我是做C#+Java软件开发,然后考取OCP来了上海,立志要做一名DBA。只记得当年试用期刚过时,阴差阳错轮到我负责公司的大数据平台这块,刚开始很痛苦...

大数据 java hadoop Apache 配置 培训

sh_jepson 发表了文章:

25【在线日志分析】之基于Flume-ng Exec Source开发自定义插件ExecSource_JSON

发布时间:2017-03-31 23:22:36 浏览:519 回帖 :0

1.将博客中 http://blog.itpub.net/30089851/viewspace-2131995/ 的AdvancedExecSource.java 文件...

java Json 数据处理 插件 source Blog github 日志分析

sh_jepson 发表了文章:

24【在线日志分析】之Tomcat的支持log4j,日志输出为json格式

发布时间:2017-03-31 21:46:20 浏览:402 回帖 :0

1.下载apache-tomcat-7.0.42及解压[root@sht-sgmhadoopnn-01 app]# pwd/root/learnproject/a...

日志 Json Apache tomcat Core 日志分析

sh_jepson 发表了文章:

23【在线日志分析】之改造CDH的HDFS的NN,DN进程,日志输出为json格式

发布时间:2017-03-31 21:23:27 浏览:470 回帖 :0

1.登录nn机器,进入最新序号的namenode配置文件夹,查看当前的nn的log4j配置 [root@sht-sgmhadoopnn-01 ~]# cd /va...

hdfs hadoop 日志 LOG Json Apache 配置 logger Server file 日志分析

sh_jepson 发表了文章:

22【在线日志分析】之项目第二阶段概述

发布时间:2017-03-31 17:37:45 浏览:356 回帖 :0

主要对HDFS服务和Tomcat服务进行实时计算预警,故要做以下加强功能:1. 改造 CDH/Apache hadoop的hdfs的nn,dn进程的日志输出格式,每一条...

架构 监控 mysql hdfs hadoop SQL 日志 Json Apache 数据处理 配置 tomcat spark string 日志分析

sh_jepson 发表了文章:

记录自定义kafka的parcel库,CDH安装kafka服务,无法安装过去的排雷过程

发布时间:2017-03-30 20:05:00 浏览:673 回帖 :0

1.版本 CDH5.9.1  安装KAFKA-2.0.2-1.2.0.2.p0.5-el6     https://archive.cloudera.com/kafka...

防火墙 日志 google

sh_jepson 发表了文章:

记录CDH5.10一个clients.NetworkClient: Bootstrap broker ip:9092 disconnected问题

发布时间:2017-03-10 22:10:38 浏览:1704 回帖 :0

1.当前环境使用的稳定版本组合a.本套环境CDH经过四次升级,当然版本为CDH-5.10.0-1.cdh5.10.0.p0.41b.KAFKA版本为KAFKA-2...

集群 IP bootstrap

sh_jepson 发表了文章:

记录CDH Spark2的spark2-submit的一个No such file or directory问题

发布时间:2017-03-02 22:48:33 浏览:2234 回帖 :0

运行: 在测试的CDH Spark2, 运行spark streaming, 命令如下: 点击(此处)折叠或打开 ...

java hadoop Apache shell cluster spark scala exception file

sh_jepson 发表了文章:

21【在线日志分析】之记录一个flume-ng的tail -f参数所诱发的血案

发布时间:2017-02-21 18:47:28 浏览:701 回帖 :0

一.现象: flume收集-->flume聚合-->kafka-->spark streaming+spark sql-->influxdb-...

监控 日志 LOG 配置 集群 spark file type 日志分析

sh_jepson 发表了文章:

Spark常见问题解决办法

发布时间:2017-02-21 17:06:04 浏览:684 回帖 :0

以下是在学习和使用spark过程中遇到的一些问题,记录下来。 1、首先来说说spark任务运行完后查错最常用的一个命令,那就是把任务运行日志down...

java 函数 Apache 源码 reduce spark 解决方案 exception 磁盘 file

sh_jepson 发表了文章:

使用阿里云的Maven仓库加速Spark编译过程

发布时间:2017-02-21 16:47:04 浏览:629 回帖 :0

前言 在国内编译Spark项目需要从Maven源下载很多依赖包,官方源在国内大环境下的下载速度大家都懂得,那个煎熬啊,简直是浪费生命。 如果你的...

Apache 配置 镜像 Maven spark scala aliyun url

3
遇之问题,与之斗争,穷尽方法,提高自己,重新再来。 https://github.com/Hackeruncle

感兴趣or擅长的领域:

更多>
优惠码发放
优惠码发放
文章:515丨 粉丝:76丨 话题:0
天斯
天斯
文章:6丨 粉丝:6719丨 话题:1
封神
封神
文章:34丨 粉丝:10584丨 话题:2
德哥
德哥
文章:2015丨 粉丝:14113丨 话题:14
云迹九州
云迹九州
文章:118丨 粉丝:46027丨 话题:0
百遇
百遇
文章:38丨 粉丝:45960丨 话题:1
更多>
游客sd7zsn22eaqn6
游客sd7zsn22eaqn6
文章:0丨 粉丝:0丨 话题:0
游客p24lnc3knmslm
游客p24lnc3knmslm
文章:0丨 粉丝:0丨 话题:0
游客ottfwfx442h2e
游客ottfwfx442h2e
文章:0丨 粉丝:0丨 话题:0
游客ozzpfe5ulqy3w
游客ozzpfe5ulqy3w
文章:0丨 粉丝:0丨 话题:0
gkui
gkui
文章:0丨 粉丝:0丨 话题:0
1016410555947566
1016410555947566
文章:0丨 粉丝:0丨 话题:0