Результаты поиска по запросу "spark-streaming"
Как перестать запускать приложение Spark Streaming Изящно?
Как я могу остановить поток искр? Моя работа по потоковой передаче искр работает постоянно. Я хочу остановиться в изящной манере.Я видел ниже вариант отключе...
Динамическое чтение файлов из HDFS из функций искрового преобразования
Как можно прочитать файл из HDFS в функции spark, не используя sparkContext внутри функции.Пример:
Могут ли SparkContext и StreamingContext сосуществовать в одной программе?
Я пытаюсь настроить код Sparkstreaming, который читает строку с сервера Kafka, но обрабатывает ее, используя правила, записанные в другом локальном файле. Я ...
Как преобразовать JavaPairInputDStream в DataSet / DataFrame в Spark
Я пытаюсь получить потоковые данные отКафка, В этом процессе я могу получать и хранить потоковые данные вJavaPairInputDStream, Теперь мне нужно проанализиров...
Вы проверяли это? Я думаю, что он добавляет новые файлы в каталог / путь
некоторой обработки у меня есть DStream [String, ArrayList [String]], поэтому, когда я записываю его в hdfs, используя saveAsTextFile, и после каждого пакета...
, Мне даже удалось отфильтровать RDD, присвоить их набору Status и затем выполнить итерацию по этому набору для окончательной обработки.
аюсь получить доступ к коллекции отфильтрованных DStreams, полученных как в решении этого вопроса:Spark Streaming - лучший способ разделения входного потока на основе фильтра ...