Como passar arquivos Jar para shell script no nó shell OOZIE
Olá, estou recebendo o erro abaixo ao executar um programa java em um script que está sendo executado no fluxo de trabalho de ação do shell oozie.
Stdoutput 2015-08-25 03:36:02,636 INFO [pool-1-thread-1] (ProcessExecute.java:68) - Exception in thread "main" java.io.IOException: Error opening job jar: /tmp/jars/first.jar
Stdoutput 2015-08-25 03:36:02,636 INFO [pool-1-thread-1] (ProcessExecute.java:68) - at org.apache.hadoop.util.RunJar.main(RunJar.java:124)
Stdoutput 2015-08-25 03:36:02,636 INFO [pool-1-thread-1] (ProcessExecute.java:68) - Caused by: java.io.FileNotFoundException: /tmp/jars/first.jar (No such file or directory)
Stdoutput 2015-08-25 03:36:02,636 INFO [pool-1-thread-1] (ProcessExecute.java:68) - at java.util.zip.ZipFile.open(Native Method)
Stdoutput 2015-08-25 03:36:02,637 INFO [pool-1-thread-1] (ProcessExecute.java:68) - at java.util.zip.ZipFile.<init>(ZipFile.java:215)
Stdoutput 2015-08-25 03:36:02,637 INFO [pool-1-thread-1] (ProcessExecute.java:68) - at java.util.zip.ZipFile.<init>(ZipFile.java:145)
Stdoutput 2015-08-25 03:36:02,637 INFO [pool-1-thread-1] (ProcessExecute.java:68) - at java.util.jar.JarFile.<init>(JarFile.java:154)
Stdoutput 2015-08-25 03:36:02,637 INFO [pool-1-thread-1] (ProcessExecute.java:68) - at java.util.jar.JarFile.<init>(JarFile.java:91)
Stdoutput 2015-08-25 03:36:02,640 INFO [pool-1-thread-1] (ProcessExecute.java:68) - at org.apache.hadoop.util.RunJar.main(RunJar.java:122)
Exit code of the Shell command 1
A seguir estão os detalhes dos arquivos:
job.properties:
nameNode=maprfs:///
jobTracker=maprfs:///
queueName=nitin
EXEC=execution.jar
ozie.libpath=${nameNode}/user/oozie/share/lib
oozie.use.system.libpath=true
oozie.wf.application.path=maprfs:/dev/user/oozieTest
workflow.xml
<?xml version="1.0" encoding="UTF-8" standalone="yes" ?>
<workflow-app name="test" xmlns="uri:oozie:workflow:0.4">
<start to="first" />
<action name="first">
<shell xmlns="uri:oozie:shell-action:0.1">
<job-tracker>${jobTracker}</job-tracker>
<name-node>${nameNode}</name-node>
<configuration>
<property>
<name>mapred.job.queue.name</name>
<value>${queueName}</value>
</property>
</configuration>
<exec>script</exec>
<argument>-type mine</argument>
<argument>-cfg config.cfg</argument>
<file>script</file>
<file>${EXEC}#${EXEC}</file>
<file>config.cfg</file>
<file>first.jar#first.jar</file>
<file>second.jar#second.jar</file>
</shell>
<ok to="end" />
<error to="fail" />
</action>
<kill name="fail">
<message>Workflow failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
</kill>
<end name="end" />
</workflow-app>
roteiro:
#!/bin/bash
#get the user who executed the script
EXECUTING_USER="user1"
# get start time
NOW=$(date +"%T")
#get the host name
HOST="$HOSTNAME"
ARGUMENTSTRING="$@ -user user1 -startTime $NOW"
echo "Passing the following arguments : $ARGUMENTSTRING"
java -cp execution.jar com.hadoop.test.Main "$ARGUMENTSTRING"
exit $?
Estou usando first.jar no meu arquivo Execution.jar do diretório / tmp / jars. O motivo é que este diretório não criará nenhum problema de permissão para o usuário do fluxo de trabalho oozie.
Qualquer direção / sugestão será realmente útil.
Minha pergunta em casca de noz:
Quero executar um script no nó de ação do shell oozie.O script que é executado a partir do nó de ação do shell oozie executará um programa javaEsse programa java com base nos argumentos executará o first.jar ou second.jar