Spark Python Авро Кафка Десериализатор

Я создал поток kafka в приложении python spark и могу анализировать любой текст, который проходит через него.

Как отфильтровать поток данных с помощью операции преобразования и внешнего RDD?

я использовал

Не удалось найти лидеров для Set ([TOPICNNAME, 0])), когда мы работаем в Apache Saprk

Мы используем Apache Spark 1.5.1 и kafka_2.10-0.8.2.1 и Kafka DirectStream API для извлечения данных из Kafka с использованием Spark.Мы создали темы в Кафке ...

Как перестать запускать приложение Spark Streaming Изящно?

Как я могу остановить поток искр? Моя работа по потоковой передаче искр работает постоянно. Я хочу остановиться в изящной манере.Я видел ниже вариант отключе...

Проблемы с надежностью Checkpointing / WAL в Spark Streaming 1.6.0

ОписаниеУ нас есть приложение Spark Streaming 1.5.2 в Scala, которое считывает события JSON из потока Kinesis, выполняет некоторые преобразования / агрегации...

Чтение с Кассандры с использованием Spark Streaming

У меня проблема, когда я использую потоковую передачу для чтения с Кассандры.https://github.com/datastax/spark-cassandra-connector/blob/master/doc/8_streamin...

Spark Streaming: StreamingContext не читает файлы данных

Я новичок в Spark Streaming и пытаюсь начать работу с ним, используя Spark-shell. Предполагая, что у меня есть каталог с именем «dataTest», помещенный в корн...

Большое спасибо за совет, Был еще один проект, где мне нужно добавить это исключение. После этого все заработало.

чение ниже, когда я попытался выполнить модульные тесты для своего кода потоковой передачи искры в окнах SBT, используя самое масштабное. sbt testOnly<<ClassName>> * * * * * * 2018-06-18 02:39:00 ОШИБКА Исполнитель: 91 - Исключение в задаче ...

Spark работник не может подключиться к мастеру

spark-submit: --jars не работает

Я создаю систему метрик для задания Spark Streaming, в системе метрики собираются у каждого исполнителя, поэтому источник метрик (класс, используемый для сбо...