Результаты поиска по запросу "hadoop"
Как Spark работает на учетной записи YARN для использования памяти Python?
После прочтения документации я не понимаю, как Spark работает на YARN-аккаунте для потребления памяти Python.Считается ли это в сторону
Как ограничить динамическое самораспределение ресурсов в кластере Hadoop под Yarn?
В нашем кластере Hadoop, работающем под управлением Yarn, у нас есть проблема, заключающаяся в том, что некоторые «умные» люди могут потреблять значительно б...
Как установить редуктор для передачи <Text, IntWritable> и преобразователь для получения <Text, IntWritable>?
Я разрабатываю код наHadoop суменьшение карты который используетдва картографа и два редуктора. Мне сказали использоватьSequenceFileInputFormat а такжеSequen...
NLineInputFormat не работает в Spark
Я хочу, чтобы каждый элемент данных состоял из 10 строк. Тем не менее, с помощью следующего кода каждый элемент по-прежнему в одну строку. Какую ошибку я зде...
Сходство соединения с помощью Hadoop
Я новичок в Hadoop. Я хотел бы провести с вами несколько подходов, которые я придумал.Проблема:2 набора данных: A и B.Оба набора данных представляют песни: н...
Файл WARC чтения Spark с пользовательским InputFormat
Мне нужно обработать файл .warc через Spark, но я не могу найти простой способ сделать это. Я бы предпочел использовать Python и не читать весь файл в RDD через
Есть ли в Hive функция разделения строк?
Я ищу встроенную функцию разделения строк в Hive? Например. если строкаA | B | C | D | Eтогда я хочу иметь такую функцию, как разбиение массива (ввод строк...
Автообновление билета Kerberos не работает с Java
В моем серверном приложении я подключаюсь к защищенному кластеру Hadoop Kerberos из моего Java-приложения. При запуске приложения я звоню
Spark: Несоответствующее число производительности при масштабировании количества ядер
Я делаю простой тест масштабирования на Spark с использованием теста сортировки - от 1 ядра до 8 ядер. Я заметил, что 8 ядер медленнее, чем 1 ядро.