Результаты поиска по запросу "spark-streaming"

2 ответа

Spark не печатает результаты на консоли в функции карты

У меня есть простое приложение Spark, работающее в режиме кластера.

3 ответа

Почему запуск StreamingContext завершается с ошибкой «IllegalArgumentException: требование не выполнено: выходные операции не зарегистрированы, поэтому ничего не выполняется»

1 ответ

Spark Streaming: Как я могу добавить больше разделов в мой DStream?

У меня есть потоковое приложение, которое выглядит так:

ТОП публикаций

1 ответ

Пул соединений в приложении потокового pyspark

Как правильно использовать пулы соединений в приложении потокового pyspark?Я прочиталhttps://forums.databricks.com/questions/3057/how-to-reuse-database-sessi...

1 ответ

Spark streaming StreamingContext.start () - Ошибка запуска приемника 0

У меня есть проект, использующий потоковую передачу по искру, и я запускаю его с помощью «spark-submit», но у меня возникает эта ошибка:

1 ответ

Что означает «потоковая передача» в Apache Spark и Apache Flink?

Как я пошел вApache Spark Streaming На сайте я увидел предложение:Spark Streaming позволяет легко создавать масштабируемые отказоустойчивые потоковые приложе...

1 ответ

Как отфильтровать поток данных с помощью операции преобразования и внешнего RDD?

я использовал

2 ответа

Вы проверяли это? Я думаю, что он добавляет новые файлы в каталог / путь

некоторой обработки у меня есть DStream [String, ArrayList [String]], поэтому, когда я записываю его в hdfs, используя saveAsTextFile, и после каждого пакета...

1 ответ

Вам понадобятся классы потокового воспроизведения во время выполнения, не так ли? Но это не может быть плохой идеей, потому что, возможно, ваш дистрибутив Hadoop предоставит эти двоичные файлы, поэтому вам не нужно упаковывать их в свой собственный jar.

исал простой поток kafka с использованием Scala. Это хорошо работает на местном. Я взял толстую банку и отправил в кластер скала. Я получаю класс не найдена ошибка после отправки задания. если я достану банку с жиром, она будет зависеть от этой ...

2 ответа

Как преобразовать JavaPairInputDStream в DataSet / DataFrame в Spark

Я пытаюсь получить потоковые данные отКафка, В этом процессе я могу получать и хранить потоковые данные вJavaPairInputDStream, Теперь мне нужно проанализиров...