Результаты поиска по запросу "hadoop"
Можете ли вы объяснить, пожалуйста, как установить Xmx512m ??
ичок здесь. Я просто люблю кодировать и разрабатывать собственные программы ... Позавчера у меня появилась идея установить Hadoop на Windows. Я только что загрузил все стеки, но не смог успешно установить его. Я прилагаю скриншоты вместе с моим ...
Надеюсь, это поможет!
аюсь настроить HDFS на мини-кубе (на данный момент), а затем на кластере DEV kubernetes, чтобы я мог использовать его со Spark. Я хочу, чтобы Spark запускался локально на моей машине, чтобы я мог работать в режиме отладки во время разработки, ...
Чтение текстового файла из системы в Hbase MapReduce
Мне нужно загрузить данные из текстового файла в Map Reduce, я искал в Интернете, но не нашел правильного решения для своей работы. Есть ли какой-либо метод...
Еще нет. Я попробую это.
лал образ hadoop, основанный на centos, используя dockerfile. Есть 4 узла. Я хочу настроить кластер, используя ssh-copy-id. Но произошла ошибка. ERROR: ssh: connect to host [ip] port 22: Connection refusedКак я могу решить эту проблему?
Я считаю, что он запускает hdfs namenode с --workers, он потерпит неудачу с такой проблемой.
анавливаю hadoop 3.1.1 homebrew на Mac OS. Конфигурация core-site.xml выглядит следующим образом: <configuration> <property> ...
Отлично! стратегия ограничителя сделала свое дело! :) Я также попробую использовать процессор MergeRecord и протестировать его. Спасибо за помощь @Shu
я есть поток ниже, настроенный для чтения данных JSON и преобразовать его в CSV с помощью процессора convertRecord. Тем не менее, выходной файл потока заполняется только одной записью(Я предполагаю только первую запись) вместо ...
Я изменил его после журнала ошибок и отлично работает задание MapReduce (локально и кластер в псевдораспределенном режиме)
аюсь настроить запуск Hadoop в Mac OS сbrew, Предпринятые шаги приведены ниже, устанавливатьhadoop с командой,$brew install hadoopВнутри папкиusr/local/Cellar/hadoop/3.1.0/libexec/etc/hadoop и добавил команды в файлhadoop-env.sh, export ...
паркет без формата
ользуюИскровым Java. Мне нужно знать, есть ли разница (производительность и т. Д.) Между следующими методами записи в Hadoop: ds.write().mode(mode).format("orc").save(path);Или же ds.write().mode(mode).orc(path);Благодарю.
Просто пытаясь понять, чтобы сохранить файл в HDFS напрямую, разве нам не нужна потоковая передача в искре? СДР можно создать из существующего файла, распараллелить и т. Д. Но для этого файл должен присутствовать в HDFS или любой поддерживаемой ФС. Я предполагаю, что его вопрос заключается в том, чтобы сохранить файлы из запроса POST, для которых лучше использовать flume или flafka. Просьба уточнить. Спасибо
ли сохранять файлы в Hadoop, не сохраняя их в локальной файловой системе? Я хотел бы сделать что-то, как показано ниже, однако я хотел бы сохранить файл непосредственно в HDFS. На данный момент я сохраняю файлы в каталоге документов и только ...
Как вывести список всех файлов в каталоге и его подкаталогах в hadoop hdfs
У меня есть папка в hdfs, в которой есть две подпапки, каждая из которых имеет около 30 подпапок, и, наконец, каждая содержит XML-файлы. Я хочу перечислить в...