Результаты поиска по запросу "hadoop"

1 ответ

Как Spark работает на учетной записи YARN для использования памяти Python?

После прочтения документации я не понимаю, как Spark работает на YARN-аккаунте для потребления памяти Python.Считается ли это в сторону

1 ответ

Как ограничить динамическое самораспределение ресурсов в кластере Hadoop под Yarn?

В нашем кластере Hadoop, работающем под управлением Yarn, у нас есть проблема, заключающаяся в том, что некоторые «умные» люди могут потреблять значительно б...

1 ответ

Как установить редуктор для передачи <Text, IntWritable> и преобразователь для получения <Text, IntWritable>?

Я разрабатываю код наHadoop суменьшение карты который используетдва картографа и два редуктора. Мне сказали использоватьSequenceFileInputFormat а такжеSequen...

ТОП публикаций

1 ответ

NLineInputFormat не работает в Spark

Я хочу, чтобы каждый элемент данных состоял из 10 строк. Тем не менее, с помощью следующего кода каждый элемент по-прежнему в одну строку. Какую ошибку я зде...

0 ответов

Корневая директория: / tmp / hive на HDFS должна быть доступна для записи. Текущие разрешения: -wx ------

3 ответа

Сходство соединения с помощью Hadoop

Я новичок в Hadoop. Я хотел бы провести с вами несколько подходов, которые я придумал.Проблема:2 набора данных: A и B.Оба набора данных представляют песни: н...

1 ответ

Файл WARC чтения Spark с пользовательским InputFormat

Мне нужно обработать файл .warc через Spark, но я не могу найти простой способ сделать это. Я бы предпочел использовать Python и не читать весь файл в RDD через

3 ответа

Есть ли в Hive функция разделения строк?

Я ищу встроенную функцию разделения строк в Hive? Например. если строкаA | B | C | D | Eтогда я хочу иметь такую ​​функцию, как разбиение массива (ввод строк...

2 ответа

Автообновление билета Kerberos не работает с Java

В моем серверном приложении я подключаюсь к защищенному кластеру Hadoop Kerberos из моего Java-приложения. При запуске приложения я звоню

1 ответ

Spark: Несоответствующее число производительности при масштабировании количества ядер

Я делаю простой тест масштабирования на Spark с использованием теста сортировки - от 1 ядра до 8 ядер. Я заметил, что 8 ядер медленнее, чем 1 ядро.