Nie znaleziono klasy cascading.tap.hadoop.io.MultiInputSplit wyjątek podczas uruchamiania programu hadoop przy użyciu struktury kaskadowej
Oto mój kod, który łączy się z maszyną hadoop i wykonuje zestaw sprawdzania poprawności i zapisu w innym katalogu.
public class Main{
public static void main(String...strings){
System.setProperty("HADOOP_USER_NAME", "root");
String in1 = "hdfs://myserver/user/root/adnan/inputfile.txt";
String out = "hdfs://myserver/user/root/cascading/temp2";
Properties properties = new Properties();
AppProps.setApplicationJarClass(properties, Main.class);
HadoopFlowConnector flowConnector = new HadoopFlowConnector(properties);
Tap inTap = new Hfs(new TextDelimited(true, ","), in1);
Tap outTap = new Hfs(new TextDelimited(true, ","), out);
Pipe inPipe = new Pipe("in1");
Each removeErrors = new Each(inPipe, Fields.ALL, new BigFilter());
GroupBy group = new GroupBy(removeErrors, getGroupByFields(fieldCols));
Every mergeGroup = new Every(group, Fields.ALL, new MergeGroupAggregator(fieldCols), Fields.RESULTS);
FlowDef flowDef = FlowDef.flowDef()
.addSource(inPipe, inTap)
.addTailSink(mergeGroup, outTap);
flowConnector.connect(flowDef).complete();
}
Moja praca polega na przekazaniu do maszyny hadoop. Mogę to sprawdzić na trackerze zadań. ale praca się nie udaje i otrzymuję wyjątek poniżej.
cascading.tap.hadoop.io.MultiInputSplit nie znaleziono w org.apache.hadoop.mapred.MapTask.getSplitDetails (MapTask.java:348) w org.apache.hadoop.mapred.MapTask.runOldMapper (MapTask.java:389) w org.apache.hadoop.mapred.MapTask.run (MapTask.java:333) w org.apache.hadoop.mapred.Child $ 4.run (Child.java:268) w java.security.AccessController.doPrivileged (Metoda natywna) w javax.security.auth.Subject.doAs (Subject.java:415) w org.apache.hadoop.security.UserGroupInformation.doAs (UserGroupInformation.java:1408) w org.apache.hadoop.mapred.Child.main (Child .java: 262) Przyczyna: java.lang.ClassNotFoundException: Klasa cascading.tap.hadoop.io.MultiInputSplit nie została znaleziona w org.apache.hadoop.conf.Configuration.getClassByName (Configuration.java:1493) na org.apache. hadoop.mapred.MapTask.getSplitDetails (MapTask.java:346) ... 7 więcej
java.lang.ClassNotFoundException: Klasa cascading.tap.hadoop.io.MultiInputSplit nie została znaleziona w org.apache.hadoop.conf.Configuration.getClassByName (Configuration.java:1493)
Zauważ, że: 1. Używam tego z mojego komputera z systemem Windows, a hadoop jest ustawiony na innym polu. 2. Używam dystrybucji cloudera dla hadoopa, który jest CDH 4.