Результаты поиска по запросу "apache-spark"
Ошибки «./sbt/sbt assembly» «Недопустимая команда: сборка» для проекта Apache Spark
У меня проблемы с установкой Apache Spark на Ubuntu 13.04. Я использую инкубационный спарк-0.8.1, и оба./sbt/sbt update а также./sbt/sbt compile отлично работает Тем не менее, когда я делаю./sbt/sbt assembly Я получаю следующую ошибку: [info] ...
Как использовать форматы ввода Hadoop в Apache Spark?
У меня есть классImageInputFormat в Hadoop, который читает изображения из HDFS. Как использовать мой InputFormat в Spark? Вот мойImageInputFormat: public class ImageInputFormat extends FileInputFormat<Text, ImageWritable> { @Override public ...
Apache Spark: карта против mapPartitions?
Какая разница междуРДД-х [https://spark.apache.org/docs/latest/api/scala/#org.apache.spark.rdd.RDD] map а такжеmapPartitions метод? И делаетflatMap вести себя какmap или какmapPartitions? Благодарю. (редактировать), то есть какая разница ...
Список (или итератор) кортежей, возвращаемых MAP (PySpark)
У меня есть метод картографирования: def mapper(value): ... for key, value in some_list: yield key, valueто, что мне нужно, не очень далеко от обычного примера WordCount, на самом деле. У меня уже есть рабочий скрипт, но только если метод mapper ...
Как запустить программу-пример spark в Intellij IDEA
Сначала в командной строке из корня скачанного искрового проекта я запустил mvn packageЭто было успешно. Затем был создан проект intellij путем импорта spark pom.xml. В IDE пример класса выглядит нормально: все библиотеки найдены. Это ...
В чем разница между map и flatMap и хорошим вариантом использования для каждого?
Может кто-нибудь объяснить мне разницу между map и flatMap и каков хороший вариант использования для каждого? Что значит «сгладить результаты»? Для чего это?
импорт pyspark в оболочку python
Это копия чьего-то вопроса на другом форуме, на который так и не был получен ответ, поэтому я подумал, что переспрошу его здесь, так как у меня такая же проблема. ...
вызов отличного и карта вместе бросает NPE в искровой библиотеке
Я не уверен, если это ошибка, так что если вы делаете что-то вроде этого // d:spark.RDD[String] d.distinct().map(x => d.filter(_.equals(x)))Вы получите Java NPE. Однако если вы делаетеcollect незамедлительно послеdistinct, все будет хорошо. Я ...
Преобразование между spark.SQL DataFrame и pandas DataFrame [дубликат]
На этот вопрос уже есть ответ: Требования для преобразования кадра данных Spark в кадр данных Pandas / R [/questions/30983197/requirements-for-converting-spark-dataframe-to-pandas-r-dataframe] 1 ответ Возможно ли это конвертировать из в ...
Сохранить содержимое Spark DataFrame в виде одного файла CSV [дубликат]
На этот вопрос уже есть ответ: Записать один CSV-файл с помощью spark-csv [/questions/31674530/write-single-csv-file-using-spark-csv] 8 ответов Скажем, у меня есть Spark DataFrame, который я хочу сохранить в виде файла CSV. ПослеSpark 2.0.0 , ...