1. 云栖社区>
  2. 博客列表>
  3. 正文

[jjzhu学hadoop]之hadoop2.7.3源码编译eclipse项目

jopper 2016-12-15 11:21:00 浏览1236 评论0

阿里云 hadoop 源码 path eclipse 配置 Maven file JDK

摘要: 编译环境 必须的安装包 安装jdk 安装mvn 配置本地仓库路径 更换阿里云maven镜像强烈推荐更换 Native libraries ProtocolBuffer 250 可选的安装包 Snappy compression Bzip2 Jansson C Library for JSON Linux FUSE 编译eclipse plugin 切换到

编译环境

  1. ubuntu 16.04 64bit
  2. jdk 1.7.0_79
  3. maven 3.3.9
  4. hadoop-2.7.3-src

必须的安装包

安装jdk

tar zxf jdk-7u79-linux-x64.tar.gz
sudo vim /etc/profile
export JAVA_HOME=/opt/jdk1.7.0_79
export PATH=$JAVA_HOME/bin:$PATH
source /etc/profile
java -version

安装mvn

tar zxf apache-maven-3.3.9-bin.tar.gz
sudo vim /etc/profile
export MAVEN_HOME=/opt/maven3.3.9
export PATH=$MAVEN_HOME/bin
source /etc/profilr
mvn -version

配置本地仓库路径

<localRepository>/opt/mava-3.3.9/repository</localRepository>

更换阿里云maven镜像(强烈推荐更换)

<mirrors>
     <mirror>
        <id>nexus-aliyun</id>
        <mirrorOf>*</mirrorOf>
        <name>Nexus aliyun</name>
        <url>http://maven.aliyun.com/nexus/content/groups/public</url>
    </mirror> 
  </mirrors>

Native libraries

sudo apt-get -y install build-essential autoconf automake libtool cmake zlib1g-dev pkg-config libssl-dev

ProtocolBuffer 2.5.0

sudo apt-get -y install libprotobuf-dev protobuf-compiler

这里有坑,安装的2.6.1的
安装好了以后可以查看下具体安装的版本

protoc --verison

如果输出的不是

libprotoc 2.5.0

可以看后面的ProtocolBuffer版本解决办法

可选的安装包

Snappy compression

sudo apt-get install snappy libsnappy-dev

Bzip2

sudo apt-get install bzip2 libbz2-dev

Jansson (C Library for JSON)

sudo apt-get install libjansson-dev

Linux FUSE

sudo apt-get install fuse libfuse-dev

编译eclipse plugin

切换到root,编译hadoop-maven-plugins

su root
>不切换会报错的(hadoop-maven-plugins/target/antrun/build-main.xml(No sucn file or directory))
cd HADOOP_SRC/hadoop-maven-plugins
mvn install

生成eclipse项目

cd ..
mvn eclipse:eclipse -DskipTests

image

ProtocolBuffer版本问题解决办法

如果安装的不是2.5.0版本的ProtocolBuffer,在编译的时候会报错

protoc version is 'libprotoc 2.6.1', expected version is '2.5.0'

先卸载libbprotoc

sudo apt-get purge libprotobuf-dev protobuf-compiler

下载protobuf-2.5.0.tar.gz

protobuf-2.5.0.tar.gz

解压,安装

sudo tar zxf protobuf-2.5.0.tar.gz
./configure
make
make check
make install

查看版本

protoc --version

如果正确安装的话
报错

protoc: error while loading shared libraries: libprotoc.so.8:cannot open shared object file:No such file or directory

protobuf的默认安装路径是/usr/local/lib,而/usr/local/lib不在ubuntu体系默认的LD_LIBRARY_PATH里,所以就找不到lib
需要让系统找到protobuf

cd /etc/ld.so.conf.d/
sudo vim bprotobuf.conf

输入一下内容

/usr/local/lib

保存并退出,输入如下命令,重新加载配置文件

sudo ldconfig

再次输入

protoc --version

可以得到输出

libprotoc 2.5.0

编译好的源码(eclipse可直接导入)

下载链接:http://pan.baidu.com/s/1kVdk3tH,密码:9q7m
eclipse->import->Existing Maven Projects

版权声明:本文内容由互联网用户自发贡献,版权归作者所有,本社区不拥有所有权,也不承担相关法律责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:yqgroup@service.aliyun.com 进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。

用云栖社区APP,舒服~

【云栖快讯】中办国办印发《推进互联网协议第六版(IPv6)规模部署行动计划》加快推进基于 IPv6 的下一代互联网规模部署,计划指出2025年末中国 IPv6 规模要达到世界第一,阿里云也第一时间宣布了将全面提供IPv6服务,那么在全面部署 IPV6 前,你需要了解都在这儿  详情请点击

网友评论

关注
jopper
打不死的jopper
13篇文章|19关注

一站式提供企业即时通讯、销售管理、协同办公。 更多>

基于深度学习技术及阿里巴巴多年的海量数据支撑, 提供多样化的内容识别服务,能有效帮助用户降低违规风险。其产品包括... 更多>

凝聚阿里巴巴多年来在无线业务安全防御的成功经验和技术成果,并面向开发者和企业提供安全扫描、应用加固、安全组件、数... 更多>

为您提供简单高效、处理能力可弹性伸缩的计算服务,帮助您快速构建更稳定、安全的应用,提升运维效率,降低 IT 成本... 更多>
订阅广场全新上线

订阅广场全新上线