Результаты поиска по запросу "spark-streaming"
Как установить и получить статические переменные от спарк?
У меня есть класс как это:
Как преобразовать JavaPairInputDStream в DataSet / DataFrame в Spark
Я пытаюсь получить потоковые данные отКафка, В этом процессе я могу получать и хранить потоковые данные вJavaPairInputDStream, Теперь мне нужно проанализиров...
Используйте схему для преобразования сообщений AVRO с помощью Spark в DataFrame
Есть ли способ использовать схему для преобразования Avro [/questions/tagged/avro] сообщения от Кафка [/questions/tagged/kafka] с Искра [/questions/tagged/spark] в Dataframe [/questions/tagged/dataframe]? Файл схемы для записей пользователя: { ...
Остановите потоковый контекст в Spark Streaming через некоторое время
Я создаю приложение, которое получает DStreams из Twitter, и единственный способ остановить контекст потоковой передачи - остановить выполнение. Интересно, е...
Spark Streaming: как не перезапускать приемник после сбоя приемника
Мы используем специальный искровой приемник, который считывает потоковые данные по предоставленной http-ссылке. Если предоставленная ссылка http неверна, пол...
SQL через Spark Streaming
Это код для запуска простых SQL-запросов через Spark Streaming.
, Мало того, что в новой потоковой архитектуре Spark, называемой «структурированной потоковой передачей», состояние встроено в конвейер и в основном абстрагировано от пользователя, чтобы иметь возможность выставлять операторы агрегирования, такие как
e Spark [https://people.csail.mit.edu/matei/papers/2013/sosp_spark_streaming.pdf] хвастается тем, что его операторы (узлы) "не сохраняют состояния". Это позволяет архитектуре Spark использовать более простые протоколы для таких вещей, ...
и извлечь:
чномstructured_kafka_wordcount.py [https://gist.github.com/hrchu/2b2590f2f737ef430ac32b7f8edc15c0]код, Когда я делю строки на словаudf как ниже, my_split = udf(lambda x: x.split(' '), ArrayType(StringType())) words = lines.select( explode( ...
Как я могу обновить широковещательную переменную в потоковой передаче искры?
Я полагаю, у меня есть довольно распространенный вариант использования потоковой передачи искры:У меня есть поток объектов, которые я хотел бы отфильтровать ...