Как установить и получить статические переменные от спарк?

У меня есть класс как это:

Как преобразовать JavaPairInputDStream в DataSet / DataFrame в Spark

Я пытаюсь получить потоковые данные отКафка, В этом процессе я могу получать и хранить потоковые данные вJavaPairInputDStream, Теперь мне нужно проанализиров...

Используйте схему для преобразования сообщений AVRO с помощью Spark в DataFrame

Есть ли способ использовать схему для преобразования Avro [/questions/tagged/avro] сообщения от Кафка [/questions/tagged/kafka] с Искра [/questions/tagged/spark] в Dataframe [/questions/tagged/dataframe]? Файл схемы для записей пользователя: { ...

Остановите потоковый контекст в Spark Streaming через некоторое время

Я создаю приложение, которое получает DStreams из Twitter, и единственный способ остановить контекст потоковой передачи - остановить выполнение. Интересно, е...

Spark Streaming: как не перезапускать приемник после сбоя приемника

Мы используем специальный искровой приемник, который считывает потоковые данные по предоставленной http-ссылке. Если предоставленная ссылка http неверна, пол...

SQL через Spark Streaming

Это код для запуска простых SQL-запросов через Spark Streaming.

, Мало того, что в новой потоковой архитектуре Spark, называемой «структурированной потоковой передачей», состояние встроено в конвейер и в основном абстрагировано от пользователя, чтобы иметь возможность выставлять операторы агрегирования, такие как

e Spark [https://people.csail.mit.edu/matei/papers/2013/sosp_spark_streaming.pdf] хвастается тем, что его операторы (узлы) "не сохраняют состояния". Это позволяет архитектуре Spark использовать более простые протоколы для таких вещей, ...

и извлечь:

чномstructured_kafka_wordcount.py [https://gist.github.com/hrchu/2b2590f2f737ef430ac32b7f8edc15c0]код, Когда я делю строки на словаudf как ниже, my_split = udf(lambda x: x.split(' '), ArrayType(StringType())) words = lines.select( explode( ...

Необработанная обработка исключений в Spark

Как я могу обновить широковещательную переменную в потоковой передаче искры?

Я полагаю, у меня есть довольно распространенный вариант использования потоковой передачи искры:У меня есть поток объектов, которые я хотел бы отфильтровать ...