Updated 2015-02-24
本文可以作为Windows下编译Hadoop的参考。
首先可以看一下编译指南:https://svn.apache.org/repos/asf/hadoop/common/trunk/BUILDING.txt
主要是有几个软件必须得有,不是简单的mvn package就可以的,依赖包括:
0.JDK的JAVA_HOME和Maven的M2_HOME,这是基本配置;
1.因为有native code,所以要有msbuild,即visual studio 2010/2012/2013之一(2010还不能是Express的,似乎Express 2010的不支持64位编译)
Windows SDK和VS是二选一的。
2.protocolbuffer,下载并把exe路径加入path
3.make for win32,下载并把exe路径加入path
4.Cygwin
5.zlib headers
具体操作:
打开命令行到hadoop源代码路径,然后:
对于64位系统,设置
set Platform=x64
对于32位系统,设置
set Platform=Win32
设置ZLIB_HOME到你的路径,比如我的是
set ZLIB_HOME=D:\zlib-1.2.8
---------------------------------------------------------
A. 如果是Visual Studio 10(VS 2010),那么下面可以直接执行
mvn package -Pdist,native-win -DskipTests -Dtar
经过漫长的等待,应该可以成功的打包出来
e:\temp\hdp\hadoop-dist\target\hadoop-x.y.z.tar.gz (x.y.z是版本号,可以是2.6.0或者3.0.0等)
---------------------------------------------------------
B. 如果是Visual Studio 12(VS 2013),那么需要进一步的设置,引用自:
(注意可以使用Visual Studio Express 2013)
B1. 首先把Visual Studio 项目 native.vcxproj, libwinutils.vcxproj and winutils.vcxproj 从 VS2010 升级到 VS2013,具体是用VS2013打开:
$hadoop-common-project\hadoop-common\src\main\winutils\winutils.sln
和
$hadoop-common-project\hadoop-common\src\main\native\native.sln
按提示升级。
B2.打开$hadoop-hdfs-project\hadoop-hdfs\pom.xml. 搜索 "Visual Studio 10 Win64", 改为 "Visual Studio 12 Win64"
B3.然后是构建过程如下:
B3.1 可以在开始菜单打开Developer Command Prompt for VS2013(中文版是"VS2013 开发人员命令提示"),命令行目录在C:\Program Files (x86)\Microsoft Visual Studio 12.0\Common7\Tools\Shortcuts, 用这个打开的命令行提示来编译。
B3.2 命令行里面执行批处理"vcvarsx86_amd64.bat",位置在"C:\Program Files (x86)\Microsoft Visual Studio 12.0\VC\bin\x86_amd64",即:
"C:\Program Files (x86)\Microsoft Visual Studio 12.0\VC\bin\x86_amd64\vcvarsx86_amd64.bat"
B3.3 切换到源代码目录,根据需要执行:
mvn install -DskipTests
或者
mvn package -Pdist,native-win -DskipTests -Dtar
---------------------------------------------------------
另外附上两个网址,如何在windows下运行hadoop,没有测试过,可以自行试验。
http://zutai.blogspot.com/2014/06/build-install-and-run-hadoop-24-240-on.html
http://stackoverflow.com/questions/18630019/running-apache-hadoop-2-1-0-on-windows
注意:如果没有进行B步骤的设置(windows 8或者windows 2012,visual studio 2013),会提示:
Failed to execute goal org.codehaus.mojo:exec-maven-plugin:1.2:exec (compile-ms-winutils) on project hadoop-common: Command execution failed. Cannot run program "msbuild" (in directory "C:\hdfs\hadoop-common-project\hadoop-common")
详见:http://stackoverflow.com/questions/20592050/build-hadoop-2-2-on-windows
相关推荐
win 7 64上编译 Hadoop 2.7.3 源码 的真实经历。
hadoop cdh 编译所需下载的所有软件,很全的
Hadoop源代码eclipse编译指南 Hadoop源代码eclipse编译指南
Hadoop-2.7.2源码及编译jar包.zip,包含 Apache Hadoop 源码包、编译后的 Win7、Win10、以及 Linux 包。 Hadoop-2.7.2源码及编译jar包.zip,包含 Apache Hadoop 源码包、编译后的 Win7、Win10、以及 Linux 包。 ...
Hadoop源代码eclipse编译教程
hadoop源码,官方,放心下载,完整版,阅读hadoop源代码的目的不一定非是工作的需要,你可以把他看成一种修养,通过阅读hadoop源代码,加深自己对分布式系统的理解,培养自己踏实做事的心态。
hadoop 2.6源代码的Windows64位编译版本。
官网荡下的源码,自己亲手编译的hadoop2.x 64位,给大家分享下 文件太大放的是百度网盘链接,目前有hadoop2.3.0,后面的版本我会陆续更新。
Hadoop源码编译
hadoop源码进行编译,需要预安装的一些软件包,包含protobuf,snappy,findbugs,hadoop源码包,jdk1.7,maven等。
Hadoop源代码eclipse编译指南.zip、Hadoop源代码eclipse编译指南.zipHadoop源代码eclipse编译指南.zipHadoop源代码eclipse编译指南.zipHadoop源代码eclipse编译指南.zip
Hadoop实战(虚拟多台电脑)Hadoop源代码eclipse编译教程
hadoop源码编译所需要的maven仓库,省去编译时下载时间。
CentOS6.5下编译hadoop 2.8.1的源码,所得编译结果,用来替换lib库中的native文件夹,自己编译出来的,不是假资源
编译好的win10系统hadoop源码,下载后替换原先的即可。
编译Hadoop源码需要的maven文件,编译Hadoop源码需要的maven文件.
如何编译Apache Hadoop2.4.0源代码,详细说明.
Hadoop源代码eclipse编译教程[汇编].pdf
Hadoop源码编译好的源码(eclipse可直接导入)直接eclipse->import->Existing Maven Projects即可无错误阅读Hadoop源码。亲给个好评吧~