Обработайте Spark Streaming rdd и сохраните в один файл HDFS

Я использую Kafka Spark Streaming для потоковой передачи данных.

Ошибка «Соединение отказано» при запуске Spark Streaming на локальном компьютере

Я знаю, что уже есть много тем, связанных с отказом от потокового соединения. Но большинство из них в Linux или, по крайней мере, указывают на HDFS. Я запуск...

Что означает «потоковая передача» в Apache Spark и Apache Flink?

Как я пошел вApache Spark Streaming На сайте я увидел предложение:Spark Streaming позволяет легко создавать масштабируемые отказоустойчивые потоковые приложе...

Остановите потоковый контекст в Spark Streaming через некоторое время

Я создаю приложение, которое получает DStreams из Twitter, и единственный способ остановить контекст потоковой передачи - остановить выполнение. Интересно, е...

добавление языкового фильтра в твиттер популярные хэштеги - scala

Spark Streaming в каталоге S3

Как отфильтровать поток данных с помощью операции преобразования и внешнего RDD?

я использовал

Spark Python Авро Кафка Десериализатор

Я создал поток kafka в приложении python spark и могу анализировать любой текст, который проходит через него.

Spark потокового обмена данными между пакетами

Настраиваемое участие JavaDStreamPairRDD

В потоковой передаче Spark, каков рекомендуемый способ реализации настраиваемого участника на DStreams?Я использовал JavaPairRDD.partitionBy (Partitioner) в ...