大快DKH大数据网络爬虫安装教程(详细图文步骤)

  1. 云栖社区>
  2. 博客>
  3. 正文

大快DKH大数据网络爬虫安装教程(详细图文步骤)

大数据资讯 2018-08-24 13:10:08 浏览897
展开阅读全文

在线爬虫是大快大数据一体化开发框架的重要组成部分,本篇重点分享在线爬虫的安装。

爬虫安装前准备工作:大快大数据平台安装完成、zookeeperrediselasticsearchmysql等组件安装启动成功。

1、修改爬虫安装配置文件(最好在线下修改好后再上传平台)

6f79095854f11eab6a39e52024972cdc6c4bcab9 

3e9bf77d5cb8350fd7e834b04f6d0109052c4246 

2、修改crawler\dkcrw\jdbc.properties配置文件(只修改图片里的内容其他内容默认即可)

aaabec84ced05629269579753de764bb829674ef 

Hbase.zookeeper.quorum所填地址应在DKM监控平台查看:

11f2963c9334c43a85a47770017cdd629b028052 

Redis相关配置看如下界面:

dd8ddd213e98737056f2906ae561b382d61e6f4c 

3、把已修改的crawler\dkcrw\下的jdbc.properties配置文件替换到\crawler\dkcrw-tomcat-7.0.56\webapps\ROOT\WEB-INF\classes(这下面有一个没有改好的直接替换)

0a30ff9bf9199b07e8cdfc8f2d767231ffa726fb 

修改好后把修改好的爬虫文件打压成压缩文件

4、上传平台主节点并解压(这里就不介绍怎么上传了的了,本次例子是上传到root目录下,安装包上传到任何目录下都可以推选root目录)

b1fe576c499a3b32503232a40b728f4a854ba245 

 

unzip 解压命令,解压唱功后会多了一个  cuawler  的文件夹

df12f5d0585492c77f05f4877db76433569cbc09 

使用cd  crawler  命令进入  crawler 文件夹下

83233dd08f5c7e25e465dce046bbeaac0d5d07df 

使用mysql -uroot -p123456 < numysql.sql 命令添加numysql.sql数据库

dabcf897b4b7765b5fc2f7fb7a37ec4fab7c28cd 

5、分发爬虫文件

1324055b03081e974d086f6922af5d7a9ab0be85 

每个节点都需要有dkcrw文件, dkcrw-tomcat-7.0.56文件只能放在一个节点上,不能放在主节点上(推选放在从节点)

命令:

scp -r  {要分发的文件名可填写多个,如果不在要分发文件的目录下请添加路径}  {分发到的服务器ip或名称:分发到的路径}

例如:

cd /opt/dkh

scp -r dkcrw dk2:/opt/dkh/

scp -r dkcrw dkcrw-tomcat-7.0.56/ dk2:/opt/dkh/

1758be6f486781c70c7937e3c69e05745fd685d6 

6、在分发了dkcrw-tomcat-7.0.56文件的节点上给文件添加权限

命令:

chmod -R 755 {需要给权限的文件等}

例如:

cd /opt/dkh

chmod -R 755 dkcrw dkcrw-tomcat-7.0.56/

 330cd92f505ffbe4a8e2c18ef2355835e5907519

7、启动爬虫界面

命令:

cd /opt/dkh/dkcrw-tomcat-7.0.56/bin/

./startup.sh

 747993b51002d4e763783b8550607fd3a96ee214

启动界面之后再浏览器中输入启动界面节点的IP,来打开爬虫界面看是否启动成功(账号密码是默认的)

1f21d1223281df31dab865f8a923afe343c7bc9e 

 

8、启动每个节点的dkcrw.jar

命令:

主节点运行

cd /opt/dkh/dkcrw/

nohup java -jar dkcrw.jar master > dkcrw.log 2>&1 &

 

从节点运行

cd /opt/dkh/dkcrw/

nohup java -jar dkcrw.jar slave > dkcrw.log 2>&1 &

 

注意:可以先使用前台启动爬虫,确定爬虫没错误。

前台启动命令java -jar dkcrw.jar master/slave

网友评论

登录后评论
0/500
评论
大数据资讯
+ 关注