Как рабочие места назначаются исполнителям в Spark Streaming?

Допустим, у меня есть 2 или более исполнителей в приложении Spark Streaming.Я установил время пакетной обработки в 10 секунд, поэтому каждые 10 секунд задани...

Как написать в CSV в Spark

Я пытаюсь найти эффективный способ сохранить результат моей работы Spark в виде CSV-файла. Я использую Spark с Hadoop и пока все мои файлы сохранены как

Ошибка сериализации Spark

Я пытаюсь научиться спарк + скала. Я хочу читать из HBase, но без mapreduce. Я создал простую таблицу HBase - «test» и сделал в ней 3 пута. Я хочу прочитать ...

Работники Spark не могут найти JAR в кластере EC2

Я использую spark-ec2 для запуска кода Spark. Когда я устанавливаю master на "local", то он работает нормально. Тем не менее, когда я устанавливаю ...

Как получить реальный путь SSSP по apache spark graphX?

SPARK + Автономный кластер: не удается запустить работника с другого компьютера

Я настраивал отдельную кластерную установку Sparkпо этой ссылке, У меня 2 машины; Первый (ubuntu0) служит и мастером, и рабочим, а второй (ubuntu1) - просто ...

Как отсортировать СДР в Scala Spark?

Чтение Spark методом sortByKey:

Apache Spark EOF исключение

Какие файлы генерируются Spark при использовании «saveAsTextFile»?

Искра поверх Docker не принимает работу