Результаты поиска по запросу "hadoop"
Как использовать Hive без hadoop
Я новичок в NoSQL решениях и хочу поиграть с Hive. Но установка HDFS / Hadoop занимает много ресурсов и времени (возможно, без опыта, но у меня нет времени, чтобы сделать это). Есть ли способы установить и использовать Hive на локальном ...
Команда Hadoop не найдена
Я установил и настроил hadoop на машине linux. Теперь я пытаюсь запустить пример задания MR. Я запустил hadoop с помощью команды /usr/local/hadoop/bin/start-all.sh, и вывод namenode running as process 7876. Stop it first. localhost: datanode ...
Исключение не найдено в Mapreduce wordcount
я пытаюсь запустить задание wordcount в hadoop.but, всегда получая исключение не найденный класс. Я публикую класс, который я написал, и команду, которую я использую для запуска задания import java.io.IOException; import java.util.*; ...
Ошибка: java.io.IOException: неправильное значение класса: класс org.apache.hadoop.io.Text не является классом Myclass
У меня есть мой картер и редукторы следующим образом. Но я получаю какое-то странное исключение. Я не могу понять, почему это вызывает такое исключение. public static class MyMapper implements Mapper<LongWritable, Text, Text, Info> { @Override ...
Динамическое разбиение + CREATE AS на HIVE
Я пытаюсь создать новую таблицу из другой таблицы сCREATE AS и динамическое разбиение на HiveCLI. Я учусь на официальной вики Hive, где есть этот пример: CREATE TABLE T (key int, value string) PARTITIONED BY (ds string, hr int) AS SELECT key, ...
Есть ли эквивалент в `pwd` в hdfs?
Я пытался сделатьhdfs dfs -pwd, но эта команда не существует. Так что в настоящее время я прибегаю кhdfs dfs -ls .. с последующимhdfs dfs -ls ../... Я также посмотрел на список команд дляhdfs dfs но не увидел ничего, что выглядело ...
Как перечислить только имена файлов в HDFS
Я хотел бы знать, есть ли какая-либо команда / выражение, чтобы получить только имя файла в Hadoop. Мне нужно выбрать только имя файла, когда я делаюhadoop fs -ls это печатает весь путь. Я попробовал ниже, но просто интересно, есть ли лучший ...
Получить несколько строк данных HDFS
У меня есть2 GB данные в моемHDFS. Можно ли получить эти данные случайно. Как мы делаем в командной строке Unix cat iris2.csv |head -n 50
Spark поддерживает подзапросы? [Дубликат]
На этот вопрос уже есть ответ: Поддерживает ли SparkSQL подзапрос? [/questions/33933118/does-sparksql-support-subquery] 2 ответа Когда я выполняю этот запрос, я получаю такую ошибку select * from raw_2 where ip NOT IN (select * from raw_1); ...
Что произойдет, если СДР не поместится в памяти в Spark? [Дубликат]
На этот вопрос уже есть ответ: Что будет, если у меня не хватит памяти? [/questions/20301661/what-will-spark-do-if-i-dont-have-enough-memory] 3 ответа Насколько я знаю, Spark пытается выполнить все вычисления в памяти, если только вы не ...