Результаты поиска по запросу "spark-streaming"
Spark Stateful Streaming Job зависает на контрольной точке на S3 после длительного времени безотказной работы
Недавно я проводил стресс-тестирование нашего приложения Spark Streaming. Стресс-тестирование потребляет около 20 000 сообщений в секунду с размерами сообщен...
ForeachRDD выполняется на драйвере?
Я пытаюсь обработать некоторые данные XML, полученные в очереди JMS (QPID), используя потоковую передачу Spark. После получения XML в качестве DStream я прео...
Пул соединений в приложении потокового pyspark
Как правильно использовать пулы соединений в приложении потокового pyspark?Я прочиталhttps://forums.databricks.com/questions/3057/how-to-reuse-database-sessi...
Кафка разделов разделов к Spark streaming
У меня есть несколько вариантов использования, которые я хотел бы прояснить, о разделении тем Kafka -> использование ресурсов потоковой передачи.Я использ...
Spark Streaming: как не перезапускать приемник после сбоя приемника
Мы используем специальный искровой приемник, который считывает потоковые данные по предоставленной http-ссылке. Если предоставленная ссылка http неверна, пол...