Hadoop en Windows Edificio / Error de instalación

Question

Jul 08, 2015, 04:39 PM

Hadoop en Windows Edificio / Error de instalación

Estoy tratando de instalarApache Hadoop 2.7.1 en Windows x64 (8.1 y Server 2012 R2), pero estoy fallando en el objetivo:

    [INFO] Apache Hadoop Common ............................... FAILURE [ 37.925 s]

En los últimos días, creo que seguí los pasos de todos los tutoriales, comoHadoopOnWindowsoéste. Hice todos los requisitos previos, pero a medida que busqué en Google, los relevantes para mi problema son los siguientes:

Establecer ruta a MSBuild.exe como:C: \ Windows \ Microsoft.NET \ Framework64 \ v4.0.30319; en caminoEstablecer ruta aCMakeInstale Microsoft SDK 7.1 y ejecútelo con su Microsoft SDK 7.1 CMDIntenté construir:hadoop-common \ src \ main \ winutils \ libwinutils.sln yhadoop-common \ src \ main \ winutils \ winutils.sln con Visual Studio 2013, pero la construcción falla debido a errores de compilación. Visual Studio 2010 ni siquiera quiere abrirlos. No sé cómo corregir los errores de compilación (en caso de que este sea el problema)

Otras personas, problema similar
Algunos de los temas similares que estoy siguiendo son estos:uno, dos, Tres, cuatro. Intenté principalmente todas las sugerencias, pero aún así se rompe.

Error

    [INFO] BUILD FAILURE
    [INFO] ------------------------------------------------------------------------
    [INFO] Total time: 01:11 min
    [INFO] Finished at: 2015-07-08T15:18:29+02:00
    [INFO] Final Memory: 69M/269M
    [INFO] ------------------------------------------------------------------------
    [ERROR] Failed to execute goal org.codehaus.mojo:exec-maven-plugin:1.3.1:exec (c
    ompile-ms-winutils) on project hadoop-common: Command execution failed. Process
    exited with an error: 1 (Exit value: 1) -> [Help 1]
    [ERROR]
    [ERROR] To see the full stack trace of the errors, re-run Maven with the -e swit
    ch.
    [ERROR] Re-run Maven using the -X switch to enable full debug logging.
    [ERROR]
    [ERROR] For more information about the errors and possible solutions, please rea
    d the following articles:
    [ERROR] [Help 1] http://cwiki.apache.org/confluence/display/MAVEN/MojoExecutionE
    xception
    [ERROR]
    [ERROR] After correcting the problems, you can resume the build with the command

    [ERROR]   mvn <goals> -rf :hadoop-common

Ayuda
No tengo idea de qué hacer a continuación, siento que intenté todo. Ayúdame a resolver este error y continúa con la instalación de Hadoop en Windows.

ACTUALIZACIÓN 1 Mirando la pila de errores más de cerca, vi que el archivoMicrosoft.Cpp.props no fue encontrado. Además, toda la carpetaArchivos de programa (x86) / MSBuild Estaba faltando. Por lo tanto, instalé Visual Studio 2010 y solucionó este problema.

Por supuesto, surge un nuevo problema. Soy capaz de construirlibwinutils, pero nowinutils. Consigo muchosLNK2001 errores:

Error   48  error LNK1120: 18 unresolved externals  C:\hdfs\hadoop-common-project\hadoop-common\src\main\winutils\x64\Release\winutils.exe  winutils
Error   36  error LNK2001: unresolved external symbol BuildServiceSecurityDescriptor    C:\hdfs\hadoop-common-project\hadoop-common\src\main\winutils\service.obj   winutils
Error   32  error LNK2001: unresolved external symbol ChownImpl C:\hdfs\hadoop-common-project\hadoop-common\src\main\winutils\service.obj   winutils
Error   40  error LNK2001: unresolved external symbol CreateEnvironmentBlock    C:\hdfs\hadoop-common-project\hadoop-common\src\main\winutils\task.obj  winutils
Error   44  error LNK2001: unresolved external symbol CreateLogonTokenForUser   C:\hdfs\hadoop-common-project\hadoop-common\src\main\winutils\task.obj  winutils
Error   41  error LNK2001: unresolved external symbol DestroyEnvironmentBlock   C:\hdfs\hadoop-common-project\hadoop-common\src\main\winutils\task.obj  winutils
Error   37  error LNK2001: unresolved external symbol EnableImpersonatePrivileges   C:\hdfs\hadoop-common-project\hadoop-common\src\main\winutils\service.obj   winutils
Error   34  error LNK2001: unresolved external symbol GetSecureJobObjectName    C:\hdfs\hadoop-common-project\hadoop-common\src\main\winutils\service.obj   winutils
Error   38  error LNK2001: unresolved external symbol KillTask  C:\hdfs\hadoop-common-project\hadoop-common\src\main\winutils\service.obj   winutils
Error   43  error LNK2001: unresolved external symbol LoadUserProfileForLogon   C:\hdfs\hadoop-common-project\hadoop-common\src\main\winutils\task.obj  winutils
Error   35  error LNK2001: unresolved external symbol LogDebugMessage   C:\hdfs\hadoop-common-project\hadoop-common\src\main\winutils\service.obj   winutils
Error   46  error LNK2001: unresolved external symbol LookupKerberosAuthenticationPackageId C:\hdfs\hadoop-common-project\hadoop-common\src\main\winutils\task.obj  winutils
Error   31  error LNK2001: unresolved external symbol MIDL_user_allocate    C:\hdfs\hadoop-common-project\hadoop-common\src\main\winutils\hadoopwinutilsvc_s.obj    winutils
Error   30  error LNK2001: unresolved external symbol MIDL_user_free    C:\hdfs\hadoop-common-project\hadoop-common\src\main\winutils\hadoopwinutilsvc_s.obj    winutils
Error   47  error LNK2001: unresolved external symbol RegisterWithLsa   C:\hdfs\hadoop-common-project\hadoop-common\src\main\winutils\task.obj  winutils
Error   33  error LNK2001: unresolved external symbol SplitStringIgnoreSpaceW   C:\hdfs\hadoop-common-project\hadoop-common\src\main\winutils\service.obj   winutils
Error   42  error LNK2001: unresolved external symbol UnloadProfileForLogon C:\hdfs\hadoop-common-project\hadoop-common\src\main\winutils\task.obj  winutils
Error   45  error LNK2001: unresolved external symbol UnregisterWithLsa C:\hdfs\hadoop-common-project\hadoop-common\src\main\winutils\task.obj  winutils
Error   39  error LNK2001: unresolved external symbol wsceConfigRelativePath    C:\hdfs\hadoop-common-project\hadoop-common\src\main\winutils\service.obj   winutils

ACTUALIZACIÓN 2 La respuesta de @tiho resolvió el problema mencionado anteriormente (y estoy muy agradecido, ya que me tomó 4 días). Ahora, un nuevo problema nuevo, en el objetivo:

[INFO] Apache Hadoop KMS .................................. FAILURE [  1.531 s]

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.7:run (dist) on project hadoop-kms: An Ant BuildException has occured: java.net.UnknownHostException: archive.apache.org
[ERROR] around Ant part ...<get dest="downloads/apache-tomcat-6.0.41.tar.gz" skipexisting="true" verbose="true" src="http://archive.apache.org/dist/tomcat/tomcat-6/v6.0.41/bin/apache tomcat-6.0.41.tar.gz"/>... @ 5:182 in C:\hadoop-2.7.1-src\hadoop-common project\hadoop-kms\target\antrun\build-main.xml: Unknown host archive.apache.org.

Encontré una solución poco convincente al problema anterior. Lo descargué manualmente, lo agregué a las carpetas:

C: \ hadoop-2.7.1-src \ hadoop-common-project \ hadoop-kms \ downloads
C: \ hadoop-2.7.1-src \ hadoop-hdfs-project \ hadoop-hdfs-httpfs \ downloads
y eliminado de los archivos:
C: \ hadoop-2.7.1-src \ hadoop-common-project \ hadoop-kms \ target \ antrun \ build-main.xml
C: \ hadoop-2.7.1-src \ hadoop-hdfs-project \ hadoop-hdfs-httpfs \ target \ antrun \ build-main.xml
las siguientes líneas de código:

<mkdir dir="downloads"/>
  <get dest="downloads/apache-tomcat-6.0.41.tar.gz" skipexisting="true" verbose="true" src="http://archive.apache.org/dist/tomcat/tomcat-6/v6.0.41/bin/apache-tomcat-6.0.41.tar.gz"/>

Tenga en cuenta que también estoy usando proxy, he configurado el proxy en elsettings.xmly establezca PATH en MAVEN_OPTS como se sugiere en la misma respuesta de @tiho. ¿Es este el problema? Además de las opciones sugeridas allí, también he agregado contraseña y nombre de usuario a MAVEN_OPTS.

Tenga en cuenta que puedo acceder:http://archive.apache.org/dist/tomcat/tomcat-6/v6.0.41/bin/apache-tomcat-6.0.41.tar.gz usando mi navegador

Pero todavía tengo curiosidad sobre cómo resolver el problema correctamente, porque este problema sigue apareciendo y necesito hacer lo mismo de nuevo.

Actualización 3 Dicho esto, el momento más feliz de esta semana:

[INFO] ------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------
[INFO] Total time: 21:05 min
[INFO] Finished at: 2015-07-10T11:33:17+02:00
[INFO] Final Memory: 228M/672M
[INFO] ------------------------------------------------