GeoAnalyticsServer在Linux下集群部署手册

  1. 云栖社区>
  2. 博客>
  3. 正文

GeoAnalyticsServer在Linux下集群部署手册

曲江小白龙 2018-01-24 20:24:00 浏览1220
展开阅读全文

 1         GeoAnalyticsServer分布式部署架构图

此次使用三台机器进行矢量大数据服务器分布式部署,与单机部署不同,此次部署剥离比较消耗硬件资源的大数据计算节点、存储节点,这两节点均可在后续进行横向扩展。


2         准备工作

2.1   配发虚拟机说明

此次分布式安装部署的三台机器已拷贝至\\192.168.0.111\nas3\ant\Archive目录。三台机器已预先安装好了操作系统、拷贝了软件安装包及许可文件。文件存放于/home/esrixa/arcgis1051。

在架构图中机器与虚拟机对应如下:

1、esrixa.portal.com对应虚拟机名为ArcGIS Enterprise

2、ga1.portal.com对应的虚拟机名为ga1

3、es1.portal.com对应的虚拟机名为es1

2.2   软件准备

一、    Linux操作系统

CentOS-7,安装包CentOS-7-x86_64-DVD-1511.iso

二、    JDK

JDK8,安装包jdk-8u151-linux-x64.tar.gz

三、    Web容器

Tomcat 8.5.23,安装包apache-tomcat-8.5.23.zip

四、    ArcGIS软件

a)      Portal for ArcGIS 10.5.1(Linux),安装包:

Portal_for_ArcGIS_Linux_1051_156440.tar.gz

b)      ArcGIS Server 10.5.1(Linux) ,安装包:

ArcGIS_Server_Linux_1051_156429.tar.gz

c)      WebAdaptor 10.5.1(Linux) ,安装包:

Web_Adaptor_Java_Linux_1051_156442.tar.gz

d)      ArcGIS DataStore 10.5.1(Linux) ,安装包:

ArcGIS_DataStore_Linux_1051_156441.tar.gz

3         部署步骤

3.1   安装操作系统

三台机器安装CentOS7,步骤略。

3.2   用户组创建

[root@esrixa home]#groupadd arcgis

[root@esrixa home]#useradd -g arcgis -m arcgis

[root@esrixa home]#passwd arcgis

3.3   拷贝软件安装包

将各安装包移动至/home/arcgis/arcgis1051。

[root@esrixa home]# mv/home/esrixa/arcgis1051 /home/arcgis/

3.4   解压缩软件安装包

解压缩.tar.gz结尾的各安装包待用。

[root@esrixa home]# tar-zxvf包名

解压缩.zip结尾的安装包待用。

[root@esrixa home]# unzip

3.5   机器名配置

ArcGISEnterprise的安装要求计算机名是完全限定域名的形式。这一修改可通过编辑/etc/hostname/etc/hosts两个文件实现。

3.5.1 编辑/etc/hostname

[root@esrixa home]# vim/etc/hostname

在文件写入机器名,此处以esrixa机器为例,写入esrixa.portal.com

3.5.2 编辑/etc/hosts

[root@esrixa home]# vim/etc/hosts

文件内容如下:

127.0.0.1 localhost

192.168.0.128esrixa.portal.com

192.168.0.129ga1.portal.com

192.168.0.130es1.portal.com

3.6   网络配置

3.6.1 修改IP

[root@esrixa home]# vim /etc/sysconfig/network-scripts/ifcfg-eno16777736

修改以下内容

BOOTPROTO=dhcp修改为BOOTPROTO=static

增加如下内容

IPADDR=192.168.0.128
GATEWAY=192.168.0.2
DNS1=192.168.0.2

重启网络服务

[root@esrixa home]# servicenetwork restart

重启网络服务(新命令)

[root@esrixa home]# systemctlrestart network.service

3.6.2 测试网络

[root@esrixa home]# ping www.baidu.com

若有数据包返回,则网络配置成功。

3.6.3 附:VM虚拟机网络配置

点击“虚拟网络编辑器”


点击“更改设置”


配置VMnet8为NAT模式,IP段填写为192.168.0.0,子网掩码255.255.255.0。


3.7   修改文件权限

chmod -R 777/home/arcgis/arcgis1051

3.8   关闭防火墙

关闭三台机器防火墙。

[root@esrixa home]# systemctl stop firewalld.service

3.8.1 禁用防火墙开机启动

[root@esrixa home]# systemctl disable firewalld.service

3.9   安装和配置ArcGIS for Server

3.9.1 编辑/etc/security/limits.conf

[root@esrixa home]# vim /etc/security/limits.conf

添加如下内容:

arcgis soft nofile 65535
arcgis hard nofile 65535
arcgis soft nproc 25059
arcgis hard nproc 25059

安装ArcGIS for Server

切换至arcgis账户

[root@esrixa home]# suarcgis

3.9.2 安装

[arcgis@esrixa home]$./Setup -m console

一路回车,显示如下信息,说明安装成功。

Congratulations. ArcGISServer10.5 has beensuccessfully installed to: /home/arcgis/arcgis/server You will be able toaccess ArcGIS Server Manager by navigating tohttp://agsenterprise.esrichina ... ager. PRESS <ENTER> TOEXIT THEINSTALLER:

3.9.3 配置

创建站点步骤略。

3.10       安装和配置Portal for ArcGIS

3.10.1 安装

[arcgis@esrixa home]$ cdPortalForArcGIS/

[arcgis@esrixa home]$./Setup -m console

如显示如下信息,说明安装成功。

Congratulations. Portalfor ArcGIS 10.5 has beensuccessfully installed to: /home/arcgis/arcgis/portal You will be able toaccess Portalfor ArcGIS 10.5bynavigating tohttps://localhost:7443/arcgis/home.

3.10.2 配置

创建新Portal略。

创建初始化账户略。

3.11       安装和配置ArcGIS DataStore

3.11.1 安装环境配置

设置vm.swappiness和vm.max_map_count的值,以满足时空大数据分析需要。

[root@esrixa arcgis]# echo 'vm.max_map_count = 262144' >>/etc/sysctl.conf

[root@esrixa arcgis]# echo 'vm.swappiness = 1' >> /etc/sysctl.conf

运行命令使上述变更生效

[root@esrixa arcgis]#/sbin/sysctl -p

3.11.2 安装

切换到arcgis账户

[root@esrixa arcgis]# su – arcgis

安装

[arcgis@esrixa ~]$ cdArcGISDataStore_Linux/

[arcgis@esrixaArcGISDataStore_Linux]$ ./Setup -m silent -l Yes

3.11.3 配置

有两台机器需要安装DataStore,一台是esrixa.portal.com,一台是es1.portal.com。esrixa.portal.com配置关系型,es1.portal.com配置时空大数据存储。

3.11.3.1  esrixa.portal.com下的DataStore配置


3.11.3.2  es1.portal.com下的DataStore配置


3.12       安装Web Adaptor

WebAdaptor需要Web容器来进行配置,在Linux下可以选择Tomcat进行部署,为了安装Tomcat,必须先安装JDK,而CentOS7操作系统自带OpenJDK,我们需要先卸载OpenJDK,安装Sun公司的JDK后,再进行Tomcat、WebAdptor的配置。

3.12.1 卸载OpenJDK安装SunJDK

3.12.1.1  查看自带的OpenJDK

[root@esrixa arcgis]# java -version

显示JDK为 openjdk,版本为”1.8.0_65”


3.12.1.2  查询已安装的JDK包

[root@esrixa arcgis]# rpm -qa|grep java

3.12.1.3  删除OpenJDK

注意,nodeps前有两个“-”。

[root@esrixa arcgis]# rpm -e –nodeps java-1.7.0-openjdk-headless

[root@esrixa arcgis]# rpm -e –nodeps java-1.7.0-openjdk

[root@esrixa arcgis]# rpm -e –nodeps java-1.8.0-openjdk-headless

[root@esrixa arcgis]# rpm -e –nodeps java-1.8.0-openjdk

3.12.1.4  检测是否删除成功

[root@esrixa arcgis]# java -version

如显示下图说明已成功删除。


3.12.2 安装SunJDK

3.12.2.1  拷贝JDK

将JDK安装包内容拷贝至/usr/local目录

[root@esrixa arcgis]# mv /jdk1.8.0_151 /usr/local

3.12.2.2  配置JDK环境变量

[root@esrixa arcgis]# vim/etc/profile

增加下列几行内容

JAVA_HOME=/usr/local/jdk1.8.0_151

JRE_HOME=/usr/local/jdk1.8.0_151/jre

CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jarPATH=$JAVA_HOME/bin:$PATH

export JAVA_HOMECLASSPATH PATH

使JDK环境变量配置生效

[root@esrixa arcgis]# source/etc/profile

3.12.2.3  验证JDK

[root@esrixa arcgis]# java-version

显示如下信息则说明配置成功


3.12.3 配置Tomcat

3.12.3.1  拷贝安装包

在/usr/local/下创建tomcat8文件夹

[root@esrixa home]# mkdir/usr/local/tomcat8

将tomcat安装包拷贝至/usr/local/tomcat8

[root@esrixa home]# mvapache-tomcat-8.5.23/*  /usr/local/tomcat8

3.12.3.2  创建私钥和证书请求

[root@esrixa home]# openssl req -newkey rsa:2048 -nodes -keyout /usr/local/tomcat8/esrixa.key-x509 -days 365 -out /usr/local/tomcat8/esrixa.crt

填写内容,注意,CommonName这里一定要填写域名

Country Name (2 lettercode) [XX]:cn

State or Province Name(full name) :sx

Locality Name (eg, city)[Default City]:xa

Organization Name (eg,company) [Default Company Ltd]:arcgis

Organizational Unit Name(eg, section) :arcgis

Common Name (eg, yourname or your server's hostname) :esrixa.portal.com

Email Address :esrixa@esrichina.com.cn

3.12.3.3  创建自签名证书

[root@esrixa home]# openssl pkcs12 -inkey /usr/local/tomcat8/esrixa.key -in/usr/local/tomcat8/esrixa.crt -export -out /usr/local/tomcat8/esrixa.pfx

输入密码arcgis

3.12.3.4  配置Tomcat

开启https

[root@esrixa home]# vim/usr/local/tomcat8/conf/server.xml

修改为如下内容:


3.12.3.5  启动和验证Tomcat

修改root启动tomcat的权限。

[root@esrixa home]# chmod-R 777 /usr/local/tomcat8

启动tomcat

[root@esrixa home]# cd/usr/local/tomcat8/bin

[root@esrixa home]# ./startup.sh

验证tomcat

在浏览器中输入https://esrixa.portal.com

成功有如下界面:


3.12.4 安装WebAdaptor

[arcgis@esrixa home]# cd/usr/local/arcgis1051/WebAdaptor

[arcgis@esrixa home]# ./Setup-m silent -l yes


显示上图时,安装完成。

3.12.5 Web Adaptor配置

拷贝arcgis.war包至Tomcat下。

[root@esrixa home]# cp  /home/arcgis/webadaptor10.5.1/java/arcgis.war

/usr/local/tomcat8/webapps/

[root@esrixa home]# cp  /home/arcgis/webadaptor10.5.1/java/arcgis.war

/usr/local/tomcat8/webapps/server.war

arcgis.war用作Portal for ArcGIS的Web Adaptor,server.war用作ArcGIS Server的Web Adaptor。

3.12.6 验证Web Adaptor

浏览器输入

https://esrixa.portal.com/arcgis

https://esrixa.portal.com/server

若页面打开正常,则表明安装无误。大家自行对server及portal配置Web Adaptor

3.13       ArcGIS Enterprise配置

3.14       注册联合服务器

将esrixa.portal.com下的ArcGIS Server与ga1.portal.com下的ArcGIS Server注册为Portal的联合服务器。



备注:Server配置有webadaptor的,填写webadaptor的地址,ArcGIS Server没有webadaptor的,按如下填写。


3.15       配置托管服务器

将esrixa.portal.com下的ArcGIS Server配置为托管服务器。


3.16       配置大数据分析服务器

选择已联合的ga1.portal.com中的ArcGIS Server作为大数据分析服务器。


配置完成后,点击“保存”。

3.17       配置NFS

在没有共享存储的环境下,可以在局域网内配置NFS服务器做共享存储,但只建议用于测试环境,生产环境建议使用专业存储。

CentOS 7已经安装了nfs软件,只需要启动。在此次分布式部署中,将NFS服务器配置于es1.portal.com机器。

将/usr/local/nfstest文件夹作为共享内容,其他机器将此文件夹挂载至/data。

3.17.1 NFS服务器端配置

3.17.1.1  设置共享文件夹及共享权限

编辑/etc/exports

[root@es1 home]# vim /etc/exports

增加如下内容

/usr/local/nfstest*(insecure,rw,sync,no_root_squash)

3.17.1.2  启动服务

重启rpc服务

[root@es1 home]# systemctlrestart  rpcbind.service 

重启nfs服务

[root@es1 home]# systemctlrestart  nfs.service

3.17.2 NFS客户端配置

查询可挂载内容

[root@ga1 home]#showmount -e 192.168.0.130

在esrixa.portal.com,ga1.portal.com两台机器上执行以下命令挂载。/data文件夹需要自己新建。/data在根目录下

[root@ga1 home]# mkdir/data

[root@ga1 home]# mount -tnfs 192.168.0.130:/usr/local/nfstest  /data

3.18       配置NAS盘做共享存储

4         矢量大数据分析功能测试步骤

4.1   拷贝分析数据至共享存储

拷贝分析数据至共享目录,此案例中拷贝分析数据至es1.portal.com的“/usr/local/nfstest”下,测试数据可以发邮件至lizf@esrichina.com.cn跟我索要。

4.2   注册大数据文件共享

进入ArcGISServer manager页面,点击“站点”。


点击“DataStore”-“注册”-“大数据文件共享”


4.2.1 注册文件共享

填写如下内容:


注意:这里/nas为共享目录。“名称”不能随意起,这里填写的“taxi”对应着/data/taxi文件夹

填写完成后点击“创建”。

4.2.2 注册HDFS数据

填写格式参考默认格式即可。

4.2.3 注册Hive数据

填写格式参考默认格式即可。


4.3   编辑大数据共享

点击“编辑”。


选择刚才注册的数据集。


点击“选择字段”。选择“pickup_longitude”。


将其配置为空间字段,为X坐标。同样的,将“pickup_longitude”配置为Y坐标。


配置完成后,点击“保存”。

4.4   聚合点分析工具使用

登陆ArcGIS Enterprise,选择“地图”-“分析”-“GeoAnalytics工具”,选择“聚合点”工具。


点击“浏览图层”


点击“我的内容”,选择大数据文件。


填写参数,点击“运行分析”


网友评论

登录后评论
0/500
评论
曲江小白龙
+ 关注