Результаты поиска по запросу "hadoop-partitioning"
DiskErrorException на подчиненном компьютере - мультиузел Hadoop
Я пытаюсь обработать XML-файлы из hadoop, я получил следующую ошибку при вызове задания подсчета слов в XML-файлах. 13/07/25 12:39:57 INFO mapred.JobClient: Task Id : attempt_201307251234_0001_m_000008_0, Status : FAILED Too many ...
Как указать разделитель для потоковой передачи hadoop
У меня есть пользовательский разделитель, как показано ниже: import java.util.*; import org.apache.hadoop.mapreduce.*; public static class SignaturePartitioner extends Partitioner<Text,Text> { @Override public int getPartition(Text key,Text ...
Новый пользователь SSH hadoop
Установка Hadoop на кластер с одним узлом, любая идея, почему нам нужно создать следующее Зачем нам нужен SSH-доступ для нового пользователя? Почему он должен иметь возможность подключиться к своей учетной записи? Почему я должен указывать ...
Как указать разделитель для потоковой передачи hadoop
У меня есть пользовательский разделитель, как показано ниже:
Почему в Apache Spark RDD.union не сохраняет разделитель?
Как всем известно, разделители в Spark оказывают огромное влияние на производительность любых «широких» операций, поэтому обычно они настраиваются в операция...