Apache Spark: карта против mapPartitions?

Ошибки «./sbt/sbt assembly» «Недопустимая команда: сборка» для проекта Apache Spark

У меня возникли проблемы с установкой Apache Spark на Ubuntu 13.04. Я использую инкубационный спарк-0.8.1, и оба

Как запустить программу-пример spark в Intellij IDEA

Spark: лучшая практика для извлечения больших данных из RDD на локальный компьютер

У меня есть большой RDD (1 ГБ) в кластере пряжи. На локальной машине, где используется этот кластер, у меня всего 512 мб. Я хотел бы перебрать значения в RDD...

Отказ в соединении при локальном запуске SparkPi

Я пытаюсь запустить простое выполнение примера SparkPi. Я запустил мастера и одного работника, затем выполнил задание на своем локальном «кластере», но в ито...

Задача не сериализуема: java.io.NotSerializableException при вызове функции вне замыкания только для классов, а не объектов

Spark не хватает памяти при группировке по ключу

Spark - задача не сериализуема: как работать со сложными замыканиями карт, которые вызывают внешние классы / объекты?

множественная ошибка SparkContexts в учебнике

Я пытаюсь запустить самый базовый учебник по pyspark Spark + Python - см.http://spark.apache.org/docs/0.9.0/quick-start.htmlКогда я пытаюсь инициализировать ...

запуск скрипта pyspark на EMR

В настоящее время я автоматизирую свои скрипты Apache Spark Pyspark, используя кластеры EC2, используя предварительно настроенный каталог Sparks ./ec2. В цел...