Результаты поиска по запросу "spark-streaming"
Spark не печатает результаты на консоли в функции карты
У меня есть простое приложение Spark, работающее в режиме кластера.
Spark Streaming: Как я могу добавить больше разделов в мой DStream?
У меня есть потоковое приложение, которое выглядит так:
Пул соединений в приложении потокового pyspark
Как правильно использовать пулы соединений в приложении потокового pyspark?Я прочиталhttps://forums.databricks.com/questions/3057/how-to-reuse-database-sessi...
Spark streaming StreamingContext.start () - Ошибка запуска приемника 0
У меня есть проект, использующий потоковую передачу по искру, и я запускаю его с помощью «spark-submit», но у меня возникает эта ошибка:
Что означает «потоковая передача» в Apache Spark и Apache Flink?
Как я пошел вApache Spark Streaming На сайте я увидел предложение:Spark Streaming позволяет легко создавать масштабируемые отказоустойчивые потоковые приложе...
Вы проверяли это? Я думаю, что он добавляет новые файлы в каталог / путь
некоторой обработки у меня есть DStream [String, ArrayList [String]], поэтому, когда я записываю его в hdfs, используя saveAsTextFile, и после каждого пакета...
Вам понадобятся классы потокового воспроизведения во время выполнения, не так ли? Но это не может быть плохой идеей, потому что, возможно, ваш дистрибутив Hadoop предоставит эти двоичные файлы, поэтому вам не нужно упаковывать их в свой собственный jar.
исал простой поток kafka с использованием Scala. Это хорошо работает на местном. Я взял толстую банку и отправил в кластер скала. Я получаю класс не найдена ошибка после отправки задания. если я достану банку с жиром, она будет зависеть от этой ...
Как преобразовать JavaPairInputDStream в DataSet / DataFrame в Spark
Я пытаюсь получить потоковые данные отКафка, В этом процессе я могу получать и хранить потоковые данные вJavaPairInputDStream, Теперь мне нужно проанализиров...