Apache Spark: карта против mapPartitions?

Ошибки «./sbt/sbt assembly» «Недопустимая команда: сборка» для проекта Apache Spark

У меня возникли проблемы с установкой Apache Spark на Ubuntu 13.04. Я использую инкубационный спарк-0.8.1, и оба

Как запустить программу-пример spark в Intellij IDEA

поддержка gzip в Spark

Для проекта Big Data я планирую использоватьискра [http://spark-project.org/docs/latest/index.html], который имеет некоторые полезные функции, такие как вычисления в памяти для повторяющихся рабочих нагрузок. Он может работать на локальных файлах ...

Spark: лучшая практика для извлечения больших данных из RDD на локальный компьютер

У меня есть большой RDD (1 ГБ) в кластере пряжи. На локальной машине, где используется этот кластер, у меня всего 512 мб. Я хотел бы перебрать значения в RDD...

Отказ в соединении при локальном запуске SparkPi

Я пытаюсь запустить простое выполнение примера SparkPi. Я запустил мастера и одного работника, затем выполнил задание на своем локальном «кластере», но в ито...

Задача не сериализуема: java.io.NotSerializableException при вызове функции вне замыкания только для классов, а не объектов

Spark не хватает памяти при группировке по ключу

Установка textinputformat.record.delimiter в искре

В Spark можно установить некоторые параметры конфигурации hadoop, например, например, System.setProperty("spark.hadoop.dfs.replication", "1")Это работает, коэффициент репликации установлен на 1. Предполагая, что это так, я подумал, что этот ...

Spark: какова лучшая стратегия объединения RDD с двумя ключами и RDD с одним ключом?

У меня есть два RDD, к которым я хочу присоединиться, и они выглядят так: val rdd1:RDD[(T,U)] val rdd2:RDD[((T,W), V)]Случается, что ключевые значенияrdd1 являются уникальными, а также что значения ключа кортежаrdd2 уникальны. Я хотел бы ...