Как hadoop решает, сколько узлов будет отображать и сокращать задачи

Я новичок в hadoop и пытаюсь это понять. Я говорю о hadoop 2. Когда у меня есть входной файл, который я хочу сделать MapReduce, в программе MapReduce я говор...

Удалить пустые разделы из Spark RDD

Как работает процесс отработки отказа Hadoop Namenode?

Полное руководство Hadoop гласит:Каждый Наменод бежит легкий процесс отработки отказа контроллера, работа которого этоследить за своим наменоде на предмет сб...

Тип HTable (config, tablename) устарел. Что использовать вместо этого?

Что я могу использовать вместо

Как заставить Spark, Python и MongoDB работать вместе

Я испытываю трудности при правильном соединении этих компонентов. У меня установлена ​​и успешно работает Spark, я могу запускать задания локально, автономно...

Внедрение Combiner и внутренняя работа

Я хочу использовать комбинатор в своем коде MR, скажем, WordCount.Как мне это реализовать?Какие данные передаются в редуктор от объединителя?Будет здорово, е...

Twitter (социальные сети) Dataset

Я ищу твиттер или другие наборы данных сайтов социальных сетей для моего проекта. В настоящее время у меня есть набор данных Twitter для CAW 2.0, но он содер...

Как удалить тему в apache kafka [дубликаты]

На этот вопрос уже есть ответ здесь:Удалить тему в Кафке 0.8.1.1 13 ответовМне нужно удалить тему в kafka-0.8.2.2.3. Я использовал следующую команду для удал...

Как узнать разницу в минутах, используя Hive

Ниже приведен запрос моего сервера sql, и я хочу, чтобы он преобразовал его в запрос улья:

Повторяющиеся столбцы в Spark Dataframe

У меня есть 10GB CSV-файл в кластере hadoop с дубликатами столбцов. Я пытаюсь проанализировать это в SparkR, поэтому я использую