Использовать Spark для отображения всех файлов в каталоге Hadoop HDFS?

Я хочу просмотреть все текстовые файлы в каталоге Hadoop и посчитать все вхождения слова «ошибка». Есть ли способ сделать

В чем разница между разделом RDD и срезом?

Руководство по программированию Spark упоминает срезы как функцию RDD (как параллельных коллекций, так и наборов данных Hadoop.) («Spark запускает одну задач...

Как написать в CSV в Spark

Я пытаюсь найти эффективный способ сохранить результат моей работы Spark в виде CSV-файла. Я использую Spark с Hadoop и пока все мои файлы сохранены как

Что должно быть hadoop.tmp.dir?

Не удается получить Sqoop 1.99.3 для работы с Apache Hadoop 2.4.0 в 64-разрядной системе Centos 6.5

У меня Apache hadoop работает и установлен на виртуальный сервер Centos 6.5 KVM. Он установлен на

Java-клиент для безопасного Hbase

Привет, я пытаюсь написать Java-клиент для безопасного Hbase. Я хочу сделать kinit также из самого кода, для этого я использую класс информации группы пользо...

Ошибка при попытке записи в hdf: сервер IPC версии 9 не может связаться с клиентом версии 4

Я пытаюсь записать файл в hdfs, используя scala, и я получаю следующую ошибку

ребалансировка hadoop и hbase после добавления узлов

У меня есть фундаментальный вопрос о балансировке нагрузки. Я только что закончил добавлять новые узлы в наш кластер hadoop (2.3), который также имеет hbase ...

Создание разделов улья за несколько месяцев одним скриптом

У меня есть данные за 4 года. подобно

Ошибка при запуске Mapreduce (пряжа) из затмения Windows

Я запускаю программу WordCount из моего затмения. Я пытался с Hadoop1.x он работает нормально. Возникла проблема при запуске на hadoop2.xя попробовал 1) доба...