Работает ли спарк-стриминг с «cp» и «mv»

Непрерывно ИНФОРМАЦИЯ JobScheduler: 59 - Добавлены задания на время *** мс в моем автономном кластере Spark

Spark Streaming mapWithState, кажется, периодически перестраивает завершенное состояние

Я работаю над потоковым проектом Scala (2.11) / Spark (1.6.1) и использую

Как преобразовать данные Spark Streaming в Spark DataFrame

Spark Streaming: Как я могу добавить больше разделов в мой DStream?

У меня есть потоковое приложение, которое выглядит так:

Spark UI показывает 0 ядер даже при настройке ядер в приложении

У меня возникла странная проблема с запуском приложения из основного URL-адреса Spark, когда пользовательский интерфейс неопределенно сообщает «СОСТОЯНИЕ» «О...

Проблемы с надежностью Checkpointing / WAL в Spark Streaming 1.6.0

ОписаниеУ нас есть приложение Spark Streaming 1.5.2 в Scala, которое считывает события JSON из потока Kinesis, выполняет некоторые преобразования / агрегации...

Как передать данные из Kafka в Spark Streaming?

Я пытаюсь передать данные из Кафки в потоковое зажигание.Это то, что я сделал до сих пор:Установлены оба

spark-submit: --jars не работает

Я создаю систему метрик для задания Spark Streaming, в системе метрики собираются у каждого исполнителя, поэтому источник метрик (класс, используемый для сбо...

Spark: параллельная обработка нескольких тем