Необработанная обработка исключений в Spark

Как я могу обновить широковещательную переменную в потоковой передаче искры?

Я полагаю, у меня есть довольно распространенный вариант использования потоковой передачи искры:У меня есть поток объектов, которые я хотел бы отфильтровать ...

Не удалось найти лидеров для Set ([TOPICNNAME, 0])), когда мы работаем в Apache Saprk

Мы используем Apache Spark 1.5.1 и kafka_2.10-0.8.2.1 и Kafka DirectStream API для извлечения данных из Kafka с использованием Spark.Мы создали темы в Кафке ...

Spark: параллельная обработка нескольких тем

spark-submit: --jars не работает

Я создаю систему метрик для задания Spark Streaming, в системе метрики собираются у каждого исполнителя, поэтому источник метрик (класс, используемый для сбо...

Как передать данные из Kafka в Spark Streaming?

Я пытаюсь передать данные из Кафки в потоковое зажигание.Это то, что я сделал до сих пор:Установлены оба

Проблемы с надежностью Checkpointing / WAL в Spark Streaming 1.6.0

ОписаниеУ нас есть приложение Spark Streaming 1.5.2 в Scala, которое считывает события JSON из потока Kinesis, выполняет некоторые преобразования / агрегации...

Spark UI показывает 0 ядер даже при настройке ядер в приложении

У меня возникла странная проблема с запуском приложения из основного URL-адреса Spark, когда пользовательский интерфейс неопределенно сообщает «СОСТОЯНИЕ» «О...

Spark Streaming: Как я могу добавить больше разделов в мой DStream?

У меня есть потоковое приложение, которое выглядит так:

Как преобразовать данные Spark Streaming в Spark DataFrame