Но в нашем случае ParquetWriter имеет только абстрактный конструктор.

ал решение этого вопроса.Мне кажется, что нет способа встроить чтение и запись формата Parquet в Java-программу без учета зависимостей от HDFS и Hadoop. Это ...

Как перечислить только имена файлов в HDFS

Я хотел бы знать, есть ли какая-либо команда / выражение, чтобы получить только имя файла в Hadoop. Мне нужно выбрать только имя файла, когда я делаюhadoop fs -ls это печатает весь путь. Я попробовал ниже, но просто интересно, есть ли лучший ...

ребалансировка hadoop и hbase после добавления узлов

У меня есть фундаментальный вопрос о балансировке нагрузки. Я только что закончил добавлять новые узлы в наш кластер hadoop (2.3), который также имеет hbase ...

Плагин Hadoop 2.2.0 Eclipse

Я установил на моем компьютере hadoop-2.2.0 (одноузловый cluser) и maven3.3.1. Я хочу запрограммировать код MapReduce в Eclipse. Итак, мои вопросы:Какая связ...

Hadoop java.io.IOException: Mkdirs не удалось создать / some / path

Когда я пытаюсь запустить свою работу, я получаю следующее исключение: Exception in thread "main" java.io.IOException: Mkdirs failed to create /some/path at org.apache.hadoop.util.RunJar.ensureDirectory(RunJar.java:106) ...

Добавление файла hadoop2.2.0 происходит AlreadyBeingCreatedException

У меня возникла проблема с операцией добавления hadoop2.2.0. Я добавляю несколько байтов в файл hdfs с помощью API-интерфейса HDFS java. Сначала я создам цел...

Spark на Windows - что такое winutils и зачем он нам нужен?

Мне любопытно! Насколько мне известно, для работы HDFS требуются процессы датоде, и поэтому он работает только на серверах. Spark может работать локально, но...

Может ли Apache Flume HDFS принять динамический путь для записи?

Я новичок в Apache Flume. Я пытаюсь увидеть, как я могу получить JSON (в качестве источника http), проанализировать его и сохранить его в динамический путь в hdfs в соответствии с содержимым. Например: если JSON это: [{ "field1" : "value1", ...

Есть ли условный IF-подобный оператор в Apache PIG?

Ошибка «Отказано в доступе» при создании базы данных в улье

Я пытаюсь создать базу данных в улье, но когда я запускаю запрос ниже в HIVE: