Map Reduce los archivos jar del cliente para 2.4.1 hadoop en eclipse
Cuando corro mihadoop mapreduce word count jar
enhadoop
carpeta en shell, se ejecuta correctamente y la salida se genera correctamente,
Desde que usoyarn
en caso dehadoop 2.4.1
, cuando corro del eclipse porMapReduce Sample program
, Proceso MAP completado y fallando en el proceso de reducción.
Está claro que el problema es con la configuración de jar.
Encuentra los frascos, he agregado ...
Este es el error que recibí
INFORMACIÓN: reduce el ejecutor de tareas completo. 21 de noviembre de 2014, 8:50:35 p.m. org.apache.hadoop.mapred.LocalJobRunner $ Ejecución de trabajo ADVERTENCIA: job_local1638918104_0001 java.lang.Exception: java.lang.NoSuchMethodError: org.apache.hadoop.mapred.ReduceTask.setLocalMapFiles / util / Map;) V en org.apache.hadoop.mapred.LocalJobRunner $ Job.runTasks (LocalJobRunner.java:462) en org.apache.hadoop.mapred.LocalJobRunner $ Job.run (LocalJobRunner.java:529) Causado por: java.lang.NoSuchMethodError: org.apache.hadoop.mapred.ReduceTask.setLocalMapFiles (Ljava / util / Map;) V en org.apache.hadoop.mapred.LocalJobRunner $ Job $ ReduceTaskRunnable.run (Localvaob:30). ) en java.util.concurrent.Executors $ RunnableAdapter.call (Executors.java:471) en java.util.concurrent.FutureTask $ Sync.innerRun (FutureTask.java:334) en java.util.concurrent.FutureTask.run ( FutureTask.java:166) en java.util.concurrent.ThreadPoolExecutor.runWorker (ThreadPoolExecutor.java:1145) en java.util.concurrent.ThreadPoolExecutor $ Worker.run (ThreadPoolExecutor.java:615) en java.run.Th. (Thread.java:722 )
Excepción en el hilo "Thread-12" java.lang.NoClassDefFoundError: org / apache / commons / httpclient / HttpMethod en org.apache.hadoop.mapred.LocalJobRunner $ Job.run (LocalJobRunner.java:562) Causado por: java.lang .ClassNotFoundException: org.apache.commons.httpclient.HttpMethod en java.net.URLClassLoader $ 1.run (URLClassLoader.java:366) en java.net.URLClassLoader $ 1.run (URLClassLoader.java:355) en java.security.AccessController .doPrivileged (Método nativo) en java.net.URLClassLoader.findClass (URLClassLoader.java:354) en java.lang.ClassLoader.loadClass (ClassLoader.java:423) en sun.misc.Launcher $ AppClassLoader.loadClass (Launcher.java : 308) en java.lang.ClassLoader.loadClass (ClassLoader.java:356) ... 1 más