Результаты поиска по запросу "hadoop"

2 ответа

 к рабочим узлам. Google DataProc делает. Тем не менее, YARN - это своего рода хакерский способ получения переменных среды. Подумайте только о том, чтобы передать их в качестве аргумента вашей искровой работе.

ужно установить пользовательскую переменную среды в EMR, которая будет доступна при запуске приложения spark.Я попытался добавить это:

2 ответа

Какая связь между «mapreduce.map.memory.mb» и «mapred.map.child.java.opts» в Apache Hadoop YARN?

Я хотел бы знать связь между

6 ответов

Использование Sqoop для импорта данных из MySQL в Hive

Я использую Sqoop (версия 1.4.4) для импорта данных из MySQL в Hive. Данные будут подмножеством одной из таблиц, то есть нескольких столбцов из таблицы. Нужн...

ТОП публикаций

1 ответ

Как открыть / поток .zip файлов через Spark?

У меня есть zip-файлы, которые я хотел бы открыть через Spark. Я могу открыть файл .gzip без проблем из-за поддержки родного кодека Hadoops, но не могу сдела...

2 ответа

Hadoop FileSystem закрытое исключение при выполнении BufferedReader.close ()

Из метода настройки Reduce, я пытаюсь закрытьBufferedReader возражать и получатьFileSystem закрытое исключение. Это не происходит все время. Это кусок кода, который я использовал для созданияBufferedReader. String fileName = <some HDFS file ...

1 ответ

Это чит-свойство 'ipc.client.fallback-to-simple-auth-разрешено', его также следует перенести в Spark

есть два кластера cloudera 5.7.1, один защищенный с помощью Kerberos, а другой незащищенный.Можно ли запустить Spark с использованием незащищенного кластера ...

2 ответа

Apache Pig: Загрузите файл, который показывает хорошо, используя hadoop fs -text

У меня есть файлы с именем part-r-000 [0-9] [0-9] и содержащие поля, разделенные табуляцией. Я могу просмотреть их, используя

3 ответа

Псевдораспределенный режим Hadoop - Datanode и TaskTracker не запускаются

Я использую дистрибутив Red Hat Enterprise Linux Server версии 6.4 (Сантьяго) с установленным на нем Hadoop 1.1.2. Я сделал необходимые конфигурации, чтобы включить псевдораспределенный режим. Но при попытке запустить hadoop датодода и трекер не ...

3 ответа

найти среднее значение с помощью свиньи или Hadoop

1 ответ

SparkR Job 100 минут ожидания

Я написал немного сложный скрипт sparkR и запустил его, используя spark-submit. То, что в основном делает скрипт, - это читать строку таблицы на основе больш...