/ bin / bash: / bin / java: нет такого файла или каталога

Я пытался запустить простую программу MapReduce Wordcount с использованием Java 1.7 SDK и Hadoop2.7.1 в Mac OS X EL Captain 10.11, и я получаю следующее сооб...

Таблицы кустов не найдены при работе в режиме YARN-Cluster

У меня есть приложение Spark (версия 1.4.1) на HDP 2.3. Работает нормально при работе в режиме YARN-Client. Однако при запуске его в режиме YARN-Cluster прил...

Ошибка задания искры: YarnAllocator: Статус выхода: -100. Диагностика: контейнер освобожден на * потерянном * узле

может быть реплицировано только на 0 узлов вместо minReplication (= 1). Работает 4 datanode (s) и ни один узел (ы) не исключен в этой операции

Я не знаю, как исправить эту ошибку:

FetchFailedException или MetadataFetchFailedException при обработке большого набора данных

Когда я запускаю код разбора с набором данных 1 ГБ, он завершается без ошибок. Но, когда я пытаюсь получить 25 ГБ данных за раз, я получаю ошибки ниже. Я пыт...

Отправка приложения Spark в качестве задания пряжи из Eclipse и Spark Context

Я уже могу представить

Spark Streaming: Как я могу добавить больше разделов в мой DStream?

У меня есть потоковое приложение, которое выглядит так:

spark.yarn.driver.memoryOverhead или spark.yarn.executor.memoryOverhead используется для хранения данных какого типа?

YARN: В чем разница между числом исполнителей и ядрами исполнителей в Spark?

Искры на YARN тоже меньше использовались