Результаты поиска по запросу "spark-streaming"

3 ответа

Spark UI показывает 0 ядер даже при настройке ядер в приложении

У меня возникла странная проблема с запуском приложения из основного URL-адреса Spark, когда пользовательский интерфейс неопределенно сообщает «СОСТОЯНИЕ» «О...

1 ответ

Как я могу обновить широковещательную переменную в потоковой передаче искры?

Я полагаю, у меня есть довольно распространенный вариант использования потоковой передачи искры:У меня есть поток объектов, которые я хотел бы отфильтровать ...

1 ответ

Вам понадобятся классы потокового воспроизведения во время выполнения, не так ли? Но это не может быть плохой идеей, потому что, возможно, ваш дистрибутив Hadoop предоставит эти двоичные файлы, поэтому вам не нужно упаковывать их в свой собственный jar.

исал простой поток kafka с использованием Scala. Это хорошо работает на местном. Я взял толстую банку и отправил в кластер скала. Я получаю класс не найдена ошибка после отправки задания. если я достану банку с жиром, она будет зависеть от этой ...

ТОП публикаций

1 ответ

Настраиваемое участие JavaDStreamPairRDD

В потоковой передаче Spark, каков рекомендуемый способ реализации настраиваемого участника на DStreams?Я использовал JavaPairRDD.partitionBy (Partitioner) в ...

1 ответ

Исключение при доступе к KafkaOffset из RDD

У меня есть потребитель Spark, который течет из Кафки. Я пытаюсь управлять смещениями для семантики, выполняемой ровно один раз.Однако при доступе к смещению...

1 ответ

Работает ли спарк-стриминг с «cp» и «mv»

6 ответов

spark ssc.textFileStream не выполняет потоковую передачу файлов из каталога

1 ответ

Что означает «потоковая передача» в Apache Spark и Apache Flink?

Как я пошел вApache Spark Streaming На сайте я увидел предложение:Spark Streaming позволяет легко создавать масштабируемые отказоустойчивые потоковые приложе...

2 ответа

Обработайте Spark Streaming rdd и сохраните в один файл HDFS

Я использую Kafka Spark Streaming для потоковой передачи данных.

7 ответов

Spark Streaming: StreamingContext не читает файлы данных

Я новичок в Spark Streaming и пытаюсь начать работу с ним, используя Spark-shell. Предполагая, что у меня есть каталог с именем «dataTest», помещенный в корн...