Результаты поиска по запросу "hadoop"
Сбой сокращения из-за попытки задания не удалось сообщить о состоянии в течение 600 секунд. Убивать! Решение?
Этап сокращения задания завершается неудачно с: Не удалось уменьшить задачи превысил допустимый предел.Причина, по которой каждая задача терпит неудачу: Задаче попытки_201301251556_1637_r_000005_0 не удалось сообщить о состоянии в течение 600 ...
Запись данных в Hadoop
Мне нужно записывать данные в Hadoop (HDFS) из внешних источников, таких как окно Windows. Прямо сейчас я копирую данные в namenode и использую команду put HDFS, чтобы вставить их в кластер. В моем просмотре кода я не видел API для этого. Я ...
Взрыв строки XML-данных в Hive
У нас есть данные XML, загруженные в Hadoop в виде единого строкового столбца с именем XML. Мы пытаемся восстановить до уровня данных нормализовать или разбить их на отдельные строки для обработки (вы знаете, как таблицу!). Мы пытались выполнить ...
Добавить несколько файлов в распределенный кеш в HIVE
В настоящее время у меня возникла проблема с добавлением содержимого папок в доверенный кеш Hives. Я могу успешно добавить несколько файлов в распределенный кеш в Hive, используя: ADD FILE /folder/file1.ext; ADD FILE /folder/file2.ext; ADD ...
Запросы зависают при использовании Hiveserver2 Thrift Java client
Это дополнительный вопрос кэтот вопрос [https://stackoverflow.com/questions/15372388/hiveserver2-java-api]где я спрашиваю, что такое Java-клиент Hiveserver 2 thrift. Этот вопрос должен быть в состоянии стоять без этого фона, если вам не нужно ...
Исключение контрольной суммы при чтении или копировании в hdfs в apache hadoop
Я пытаюсь реализовать распараллеленный алгоритм, используя Apache Hadoop, однако я сталкиваюсь с некоторыми проблемами при попытке передачи файла из локальной файловой системы в hdfs.исключение контрольной суммывыбрасывается при попытке чтения ...
Как работает Recovery в HBase
Я хотел практически наблюдать, как Recovery Recovery работает в HBase, я использовал следующий фрагмент кода Put p=new Put(Bytes.toBytes("name10")); p.setWriteAheadLog(true); p.add(Bytes.toBytes("cf"), Bytes.toBytes("name"),Bytes.toBytes("Some ...
java.lang.OutOfMemoryError: невозможно создать новый собственный поток для большого набора данных
У меня запущен запрос улья, который отлично работает для небольшого набора данных. но я бегу за 250 миллионов записей, у меня есть ошибки ниже в журналах FATAL org.apache.hadoop.mapred.Child: Error running child : java.lang.OutOfMemoryError: ...
Как проверить, работают ли демоны Hadoop?
Какие простые команды проверяют, работают ли демоны Hadoop? Например, если я пытаюсь выяснить, почему HDFS не настроена правильно, я хочу узнать, как проверить, работают ли на этом компьютере namemonode / datanode / jobtracker / ...
Смещение байта потокового преобразователя Hadoop не генерируется
Я запускаю потоковое задание Hadoop, и смещения байтов не генерируются как выходные данные (ключи) преобразователя, как я и ожидал. Команда: $HADOOP_INSTALL/bin/hadoop \ jar $HADOOP_INSTALL/contrib/streaming/hadoop-streaming-$HADOOP_VERSION.jar ...