Результаты поиска по запросу "hdfs"
@rajendramoka Добро пожаловать!
ли создать n внешних таблиц, указывающих на один путь hdfs с помощью Hive. Если да, каковы преимущества и ограничения.
Нет, ошибки нет, просто не так, как она работает.
делил данные в HDFS. В какой-то момент я решил обновить его. Алгоритм: Читайте новые данные из темы кафки.Узнайте новые имена разделов данных.Загрузите данные из разделов с этими именами, которые есть в HDFS.Объединить данные HDFS с новыми ...
Я бы порекомендовал уделить дополнительное внимание блогу Майкла Дж. Нолла, на который ссылается последняя ссылка, он охватывает многие темы, связанные с hasoop.
оллега считает, что HDFS не имеет максимального размера файла, то есть, путем разбиения на 128/256 мегабайт можно сохранить любой размер файла (очевидно, диск HDFS имеет размер, и это будет ограничивать, но это единственный предел). Я не могу ...
, java.io.File)
у перемещать файлы в HDFS с помощью API Java. Я не могу найти способ сделать это. Класс FileSystem, по-видимому, только хочет разрешить перемещение в и из локальной файловой системы ... но я хочу сохранить их в HDFS и переместить их туда. Я ...
MapR изначально сжимает на уровне файловой системы, поэтому приложение не должно знать об этом или заботиться. Сжатие может быть включено или выключено на уровне каталога, так что вы можете сжимать входы, но не выходы или что угодно. Как правило, сжатие происходит настолько быстро (по умолчанию используется алгоритм, аналогичный snappy), что большинство приложений видят повышение производительности при использовании собственного сжатия. Если ваши файлы уже сжаты, это обнаруживается очень быстро, и сжатие отключается автоматически, поэтому вы также не видите там наказания.
я есть Java-программа Map-Reduce, в которой я пытаюсь сжать только вывод Mapper, но не вывод редуктора. Я подумал, что это будет возможно, установив следующие свойства в экземпляре конфигурации, как указано ниже. Однако, когда я запускаю свою ...
Затем вы можете позвонить с помощью такой команды:
ожет быть основной вопрос, но я не смог найти ответ на него в Google. У меня есть задание уменьшения карты, которое создает несколько выходных файлов в своем выходном каталоге. Мое приложение Java выполняет это задание на удаленном кластере ...
Масштабируемое хранилище изображений
В настоящее время я разрабатываю архитектуру для веб-приложения, которое также должно обеспечивать хранение изображений. Пользователи смогут загружать фотографии как одну из ключевых функций сервиса. Также просмотр этих изображений будет одним из ...
Нет. Вам придется удалить это поле или, по крайней мере, переименовать его.
ли я разбить таблицу Hive после вставки по существующему полю? У меня есть файл 10 ГБ с полем даты и полем дня. Можно ли загрузить этот файл в таблицу, а затем вставить-перезаписать в другую многораздельную таблицу, которая использует эти поля в ...
Метод hadoop для отправки вывода в несколько каталогов
мойMapReduce задание обрабатывает данные по датам и должно записывать вывод в определенную структуру папок. Текущее ожидание заключается в следующем: 2013 01 02 .. 2012 01 02 ..и т.п. В любое время я получаю только до 12 месяцев данных, поэтому ...
создать этот каталог.
аюсь запустить Apache Pig на своем кластере Hadoop и столкнулся с проблемой разрешений. Сама Pig запускается и подключается к кластеру просто из оболочки Pig, я могуls через и вокруг моих каталогов HDFS. Однако, когда я пытаюсь загрузить данные и ...