Verbindungsfehler in Apache Pig
Ich verwende Apache Pig .11.1 mit Hadoop 2.0.5.
Die meisten einfachen Jobs, die ich in Pig ausführe, funktionieren einwandfrei.
Wenn ich jedoch versuche, GROUP BY für ein großes Dataset oder den LIMIT-Operator zu verwenden, werden folgende Verbindungsfehler angezeigt:
2013-07-29 13:24:08,591 [main] INFO org.apache.hadoop.mapred.ClientServiceDelegate - Application state is completed. FinalApplicationStatus=SUCCEEDED. Redirecting to job history server
013-07-29 11:57:29,421 [main] INFO org.apache.hadoop.ipc.Client - Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
2013-07-29 11:57:30,421 [main] INFO org.apache.hadoop.ipc.Client - Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
2013-07-29 11:57:31,422 [main] INFO org.apache.hadoop.ipc.Client - Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
...
2013-07-29 13:24:18,597 [main] INFO org.apache.hadoop.ipc.Client - Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 9 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
2013-07-29 13:24:18,598 [main] ERROR org.apache.hadoop.security.UserGroupInformation - PriviledgedActionException as:gpadmin (auth:SIMPLE) cause:java.io.IOException
Das Merkwürdige ist, dass diese Fehler nach etwa 2 Minuten nicht mehr auftreten und die korrekte Ausgabe unten angezeigt wird.
Hadoop läuft also einwandfrei und berechnet die richtige Ausgabe. Das Problem sind nur diese Verbindungsfehler, die immer wieder auftauchen.
DasLIMIT
Der Operator erhält immer diesen Fehler. Dies geschieht sowohl im MapReduce-Modus als auch im lokalen Modus. DasGROUP BY
Der Operator funktioniert bei kleinen Datensätzen einwandfrei.
Eine Sache, die mir aufgefallen ist, ist, dass der Job bei jedem Auftreten dieses Fehlers mehrere JAR-Dateien erstellt und ausgeführt hat. Nach einigen Minuten, in denen diese Meldung angezeigt wird, wird schließlich die richtige Ausgabe angezeigt.
Irgendwelche Vorschläge, wie man diese Nachrichten loswird?