Результаты поиска по запросу "spark-streaming"
Кафка разделов разделов к Spark streaming
У меня есть несколько вариантов использования, которые я хотел бы прояснить, о разделении тем Kafka -> использование ресурсов потоковой передачи.Я использ...
Spark Streaming: как не перезапускать приемник после сбоя приемника
Мы используем специальный искровой приемник, который считывает потоковые данные по предоставленной http-ссылке. Если предоставленная ссылка http неверна, пол...
Spark streaming StreamingContext.start () - Ошибка запуска приемника 0
У меня есть проект, использующий потоковую передачу по искру, и я запускаю его с помощью «spark-submit», но у меня возникает эта ошибка:
Как использовать Scala и Python в одном проекте Spark?
Это возможно, чтобы трубаSpark RDD в Python?Потому что мне нужна библиотека Python для некоторых вычислений моих данных, но мой основной проект Spark основан...
Spark Stateful Streaming Job зависает на контрольной точке на S3 после длительного времени безотказной работы
Недавно я проводил стресс-тестирование нашего приложения Spark Streaming. Стресс-тестирование потребляет около 20 000 сообщений в секунду с размерами сообщен...
и извлечь:
чномstructured_kafka_wordcount.py [https://gist.github.com/hrchu/2b2590f2f737ef430ac32b7f8edc15c0]код, Когда я делю строки на словаudf как ниже, my_split = udf(lambda x: x.split(' '), ArrayType(StringType())) words = lines.select( explode( ...
Как перестать запускать приложение Spark Streaming Изящно?
Как я могу остановить поток искр? Моя работа по потоковой передаче искр работает постоянно. Я хочу остановиться в изящной манере.Я видел ниже вариант отключе...