Ошибка подключения в Apache Pig
Я использую Apache Pig .11.1 с Hadoop 2.0.5.
Большинство простых заданий, которые я выполняю в Pig, работают отлично.
Однако всякий раз, когда я пытаюсь использовать GROUP BY для большого набора данных или оператора LIMIT, я получаю следующие ошибки соединения:
2013-07-29 13:24:08,591 [main] INFO org.apache.hadoop.mapred.ClientServiceDelegate - Application state is completed. FinalApplicationStatus=SUCCEEDED. Redirecting to job history server
013-07-29 11:57:29,421 [main] INFO org.apache.hadoop.ipc.Client - Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
2013-07-29 11:57:30,421 [main] INFO org.apache.hadoop.ipc.Client - Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
2013-07-29 11:57:31,422 [main] INFO org.apache.hadoop.ipc.Client - Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
...
2013-07-29 13:24:18,597 [main] INFO org.apache.hadoop.ipc.Client - Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 9 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
2013-07-29 13:24:18,598 [main] ERROR org.apache.hadoop.security.UserGroupInformation - PriviledgedActionException as:gpadmin (auth:SIMPLE) cause:java.io.IOException
Странно то, что после появления этих ошибок в течение примерно 2 минут они прекратятся, и в нижней части отобразится правильный вывод.
Таким образом, Hadoop работает нормально и вычисляет правильный результат. Проблема только в этих ошибках соединения, которые продолжают появляться.
LIMIT
Оператор всегда получает эту ошибку. Это происходит как в режиме MapReduce, так и в локальном режиме.GROUP BY
Оператор будет хорошо работать на небольших наборах данных.
Одна вещь, которую я заметил, заключается в том, что всякий раз, когда появляется эта ошибка, задание создает и запускает несколько файлов JAR во время задания. Однако после нескольких минут появления этого сообщения, наконец, появляется правильный вывод.
Любые предложения о том, как избавиться от этих сообщений?