Я использую Apache Pig .11.1 с Hadoop 2.0.5.

Большинство простых заданий, которые я выполняю в Pig, работают отлично.

Однако всякий раз, когда я пытаюсь использовать GROUP BY для большого набора данных или оператора LIMIT, я получаю следующие ошибки соединения:

2013-07-29 13:24:08,591 [main] INFO  org.apache.hadoop.mapred.ClientServiceDelegate - Application state is completed. FinalApplicationStatus=SUCCEEDED. Redirecting to job history server 
013-07-29 11:57:29,421 [main] INFO  org.apache.hadoop.ipc.Client - Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

2013-07-29 11:57:30,421 [main] INFO  org.apache.hadoop.ipc.Client - Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

2013-07-29 11:57:31,422 [main] INFO  org.apache.hadoop.ipc.Client - Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
...
2013-07-29 13:24:18,597 [main] INFO  org.apache.hadoop.ipc.Client - Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 9 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
2013-07-29 13:24:18,598 [main] ERROR org.apache.hadoop.security.UserGroupInformation - PriviledgedActionException as:gpadmin (auth:SIMPLE) cause:java.io.IOException

Странно то, что после появления этих ошибок в течение 2 минут ониостановимся, и правильный вывод появится внизу.

Таким образом, Hadoop работает нормально и вычисляет правильный результат. Проблема только в этих ошибках соединения, которые продолжают появляться.

LIMIT Оператор всегда получает эту ошибку. Это происходит как в режиме MapReduce, так и в локальном режиме.GROUP BY Оператор будет хорошо работать на небольших наборах данных.

Одна вещь, которую я заметил, заключается в том, что всякий раз, когда появляется эта ошибка, задание создает и запускает несколько файлов JAR во время задания. Однако после нескольких минут появления этого сообщения, наконец, появляется правильный вывод.

Любые предложения о том, как избавиться от этих сообщений?