Результаты поиска по запросу "hdfs"
Размер блока данных в HDFS, почему 64 МБ?
Размер блока данных по умолчанию HDFS / hadoop составляет 64 МБ. Размер блока на диске обычно составляет 4 КБ. Что означает размер блока 64 МБ? -> Означает ли это, что наименьшая единица чтения с диска составляет 64 МБ? Если да, в чем ...
Масштабируемое хранилище изображений
В настоящее время я разрабатываю архитектуру для веб-приложения, которое также должно обеспечивать хранение изображений. Пользователи смогут загружать фотографии как одну из ключевых функций сервиса. Также просмотр этих изображений будет одним из ...
Метод hadoop для отправки вывода в несколько каталогов
мойMapReduce задание обрабатывает данные по датам и должно записывать вывод в определенную структуру папок. Текущее ожидание заключается в следующем: 2013 01 02 .. 2012 01 02 ..и т.п. В любое время я получаю только до 12 месяцев данных, поэтому ...
Hadoop FileSystem закрытое исключение при выполнении BufferedReader.close ()
Из метода настройки Reduce, я пытаюсь закрытьBufferedReader возражать и получатьFileSystem закрытое исключение. Это не происходит все время. Это кусок кода, который я использовал для созданияBufferedReader. String fileName = <some HDFS file ...
Как использовать форматы ввода Hadoop в Apache Spark?
У меня есть классImageInputFormat в Hadoop, который читает изображения из HDFS. Как использовать мой InputFormat в Spark? Вот мойImageInputFormat: public class ImageInputFormat extends FileInputFormat<Text, ImageWritable> { @Override public ...
Как HBase включает произвольный доступ к HDFS?
Учитывая, что HBase - это база данных, файлы которой хранятся в HDFS, как она обеспечивает произвольный доступ к отдельному фрагменту данных в HDFS? Каким способом это достигается? Изсправочное руководство по Apache ...
Несколько файлов хранятся в одном блоке?
Когда я сохраню много маленьких файлов в HDFS, они будут храниться в одном блоке? На мой взгляд, эти небольшие файлы должны храниться в одном блоке в соответствии с этим обсуждением:Размер блока HDFS против фактического размера ...
Как использовать Hive без hadoop
Я новичок в NoSQL решениях и хочу поиграть с Hive. Но установка HDFS / Hadoop занимает много ресурсов и времени (возможно, без опыта, но у меня нет времени, чтобы сделать это). Есть ли способы установить и использовать Hive на локальном ...
Есть ли эквивалент в `pwd` в hdfs?
Я пытался сделатьhdfs dfs -pwd, но эта команда не существует. Так что в настоящее время я прибегаю кhdfs dfs -ls .. с последующимhdfs dfs -ls ../... Я также посмотрел на список команд дляhdfs dfs но не увидел ничего, что выглядело ...
Получить несколько строк данных HDFS
У меня есть2 GB данные в моемHDFS. Можно ли получить эти данные случайно. Как мы делаем в командной строке Unix cat iris2.csv |head -n 50