Ich verwende Apache Pig .11.1 mit Hadoop 2.0.5.

Die meisten einfachen Jobs, die ich in Pig ausführe, funktionieren einwandfrei.

Wenn ich jedoch versuche, GROUP BY für ein großes Dataset oder den LIMIT-Operator zu verwenden, werden folgende Verbindungsfehler angezeigt:

2013-07-29 13:24:08,591 [main] INFO  org.apache.hadoop.mapred.ClientServiceDelegate - Application state is completed. FinalApplicationStatus=SUCCEEDED. Redirecting to job history server 
013-07-29 11:57:29,421 [main] INFO  org.apache.hadoop.ipc.Client - Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

2013-07-29 11:57:30,421 [main] INFO  org.apache.hadoop.ipc.Client - Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

2013-07-29 11:57:31,422 [main] INFO  org.apache.hadoop.ipc.Client - Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
...
2013-07-29 13:24:18,597 [main] INFO  org.apache.hadoop.ipc.Client - Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 9 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
2013-07-29 13:24:18,598 [main] ERROR org.apache.hadoop.security.UserGroupInformation - PriviledgedActionException as:gpadmin (auth:SIMPLE) cause:java.io.IOException

Das Merkwürdige ist, dass diese Fehler nach etwa 2 Minuten nicht mehr auftreten und die korrekte Ausgabe unten angezeigt wird.

Hadoop läuft also einwandfrei und berechnet die richtige Ausgabe. Das Problem sind nur diese Verbindungsfehler, die immer wieder auftauchen.

DasLIMIT Der Operator erhält immer diesen Fehler. Dies geschieht sowohl im MapReduce-Modus als auch im lokalen Modus. DasGROUP BY Der Operator funktioniert bei kleinen Datensätzen einwandfrei.

Eine Sache, die mir aufgefallen ist, ist, dass der Job bei jedem Auftreten dieses Fehlers mehrere JAR-Dateien erstellt und ausgeführt hat. Nach einigen Minuten, in denen diese Meldung angezeigt wird, wird schließlich die richtige Ausgabe angezeigt.

Irgendwelche Vorschläge, wie man diese Nachrichten loswird?