Результаты поиска по запросу "emr"

1 ответ

копирование hadoop из hdfs в S3

Я успешно завершил работу по векторизации mahout в Amazon EMR (используяMahout на эластичной карте как ссылки). Теперь я хочу скопировать результаты из HDFS ...

3 ответа

Экспорт таблицы кустов в корзину S3

Я создал таблицу Hive с помощью интерактивного сеанса Elastic MapReduce и заполнил ее из файла CSV следующим образом: CREATE TABLE csvimport(id BIGINT, time STRING, log STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'; LOAD DATA LOCAL ...

1 ответ

Почему Yarn на EMR не выделяет все узлы для выполнения заданий Spark?

Я работаю над Apache Spark на Amazon Elastic Map Reduce (EMR). В настоящее время я работаю на emr-4.1.0, который включает Amazon Hadoop 2.6.0 и Spark 1.5.0.К...

ТОП публикаций

2 ответа

Apache Spark читает для S3: не может выбирать объекты thread.lock

Поэтому я хочу, чтобы мое приложение Spark считывало текст с Amazon S3. Я написал следующий простой скрипт:

2 ответа

Нужен совет по стратегии для переноса больших таблиц из RDS в DynamoDB

1 ответ

Как избежать чтения старых файлов из S3 при добавлении новых данных?

Раз в 2 часа запускается работа spark для преобразования некоторых файлов tgz в паркет. Задание добавляет новые данные в существующий паркет в s3:

2 ответа

Как MapReduce читает из нескольких входных файлов?

Я разрабатываю код для чтения данных и записи вHDFS с помощьюmapreduce, Однако, когда у меня есть несколько файлов, я не понимаю, как это обрабатывается. Входной путь к мапперу - это имя каталога, как видно из вывода String filename = ...

0 ответов

Как настроить Zeppelin для работы с удаленным кластером EMR Yarn

2 ответа

Как указать сопоставленные конфигурации и параметры java с помощью пользовательского jar в CLI с помощью Amazon EMR?

Я хотел бы знать, как указать конфигурации mapreduce, такие как mapred.task.timeout, mapred.min.split.sizeи т.д., при запуске потокового задания с использованием пользовательского jar. Мы можем использовать следующий способ, чтобы указать эти ...

6 ответов

Обнаружена проблема с гуавой # 1635, которая указывает на то, что используется версия гуавы менее 16.01