Używam Apache Pig .11.1 z Hadoop 2.0.5.

Większość prostych zadań, które wykonuję w Pig, działa doskonale.

Jednak za każdym razem, gdy próbuję użyć GROUP BY na dużym zbiorze danych lub operatorze LIMIT, otrzymuję następujące błędy połączenia:

2013-07-29 13:24:08,591 [main] INFO  org.apache.hadoop.mapred.ClientServiceDelegate - Application state is completed. FinalApplicationStatus=SUCCEEDED. Redirecting to job history server 
013-07-29 11:57:29,421 [main] INFO  org.apache.hadoop.ipc.Client - Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

2013-07-29 11:57:30,421 [main] INFO  org.apache.hadoop.ipc.Client - Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

2013-07-29 11:57:31,422 [main] INFO  org.apache.hadoop.ipc.Client - Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
...
2013-07-29 13:24:18,597 [main] INFO  org.apache.hadoop.ipc.Client - Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 9 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
2013-07-29 13:24:18,598 [main] ERROR org.apache.hadoop.security.UserGroupInformation - PriviledgedActionException as:gpadmin (auth:SIMPLE) cause:java.io.IOException

Dziwne jest to, że po pojawieniu się tych błędów przez około 2 minuty, zatrzymają się, a prawidłowe wyjście pojawi się na dole.

Więc Hadoop działa poprawnie i oblicza prawidłowe wyjście. Problemem są tylko te błędy połączenia, które wciąż pojawiają się.

TheLIMIT operator zawsze otrzymuje ten błąd. Dzieje się tak w trybie MapReduce i trybie lokalnym. TheGROUP BY operator będzie dobrze działał na małych zestawach danych.

Jedną z rzeczy, które zauważyłem, jest to, że kiedy pojawia się ten błąd, zadanie utworzyło i uruchomiło wiele plików JAR podczas pracy. Jednak po kilku minutach od pojawienia się tych komunikatów na końcu pojawia się poprawne wyjście.

Jakieś sugestie, jak pozbyć się tych wiadomości?