Результаты поиска по запросу "hadoop"
Производительность сканирования HBase
Я выполняю сканирование диапазона, которое дает мне 500 тыс. Записей. Если я установлю
Доступ к файлу hdfs из udf
Я хотел бы получить доступ к файлу из моего звонка в формате udf. Это мой сценарий: files = LOAD '$docs_in' USING PigStorage(';') AS (id, stopwords, id2, file); buzz = FOREACH files GENERATE pigbuzz.Buzz(file, id) as file:bag{(year:chararray, ...
Порт Namenode HDFS по умолчанию - 50070. Но я сталкивался в некоторых местах 8020 или 9000
Когда я настраиваю кластер hadoop, я читаю, что namenode работает на 50070, и я настраиваюсь соответственно, и он работает нормально.Но в некоторых книгах я ...
Перенос данных из оракула в HDFS, обработка и перемещение в Teradata из HDFS
Мое требование заключается в Переместить данные из Oracle в HDFSОбработка данных на HDFSПереместить обработанные данные в Teradata.Также необходимо выполнять всю эту обработку каждые 15 минут. Объем исходных данных может быть близок к 50 ГБ, а ...
Установка textinputformat.record.delimiter в искре
В Spark можно установить некоторые параметры конфигурации hadoop, например, например, System.setProperty("spark.hadoop.dfs.replication", "1")Это работает, коэффициент репликации установлен на 1. Предполагая, что это так, я подумал, что этот ...