Результаты поиска по запросу "spark-streaming"

1 ответ

Кафка разделов разделов к Spark streaming

У меня есть несколько вариантов использования, которые я хотел бы прояснить, о разделении тем Kafka -> использование ресурсов потоковой передачи.Я использ...

2 ответа

Необработанная обработка исключений в Spark

2 ответа

Spark Streaming: как не перезапускать приемник после сбоя приемника

Мы используем специальный искровой приемник, который считывает потоковые данные по предоставленной http-ссылке. Если предоставленная ссылка http неверна, пол...

ТОП публикаций

1 ответ

, но не в подходе к этому вопросу. Попробуйте и задайте новые вопросы, если они возникнут. StructuredStreaming - еще один вариант в семействе Spark.

1 ответ

Подсчет количества искр

1 ответ

Spark streaming StreamingContext.start () - Ошибка запуска приемника 0

У меня есть проект, использующий потоковую передачу по искру, и я запускаю его с помощью «spark-submit», но у меня возникает эта ошибка:

0 ответов

Как использовать Scala и Python в одном проекте Spark?

Это возможно, чтобы трубаSpark RDD в Python?Потому что мне нужна библиотека Python для некоторых вычислений моих данных, но мой основной проект Spark основан...

1 ответ

Spark Stateful Streaming Job зависает на контрольной точке на S3 после длительного времени безотказной работы

Недавно я проводил стресс-тестирование нашего приложения Spark Streaming. Стресс-тестирование потребляет около 20 000 сообщений в секунду с размерами сообщен...

1 ответ

и извлечь:

чномstructured_kafka_wordcount.py [https://gist.github.com/hrchu/2b2590f2f737ef430ac32b7f8edc15c0]код, Когда я делю строки на словаudf как ниже, my_split = udf(lambda x: x.split(' '), ArrayType(StringType())) words = lines.select( explode( ...

1 ответ

Как перестать запускать приложение Spark Streaming Изящно?

Как я могу остановить поток искр? Моя работа по потоковой передаче искр работает постоянно. Я хочу остановиться в изящной манере.Я видел ниже вариант отключе...