Результаты поиска по запросу "spark-streaming"
ForeachRDD выполняется на драйвере?
Я пытаюсь обработать некоторые данные XML, полученные в очереди JMS (QPID), используя потоковую передачу Spark. После получения XML в качестве DStream я прео...
Spark Stateful Streaming Job зависает на контрольной точке на S3 после длительного времени безотказной работы
Недавно я проводил стресс-тестирование нашего приложения Spark Streaming. Стресс-тестирование потребляет около 20 000 сообщений в секунду с размерами сообщен...
com.fasterxml.jackson.databind.JsonMappingException: версия Джексона слишком старая 2.5.3
Моя ОС - OS X 10.11.6. Я использую Spark 2.0, Zeppelin 0.6, Scala 2.11Когда я запускаю этот код в Zeppelin, я получаю исключение от Джексона. Когда я запуска...
Spark не печатает результаты на консоли в функции карты
У меня есть простое приложение Spark, работающее в режиме кластера.
Исключение при доступе к KafkaOffset из RDD
У меня есть потребитель Spark, который течет из Кафки. Я пытаюсь управлять смещениями для семантики, выполняемой ровно один раз.Однако при доступе к смещению...
Spark DataFrame: поддерживает ли groupBy после orderBy этот порядок?
У меня есть датафрейм Spark 2.0
Как сохранить / вставить каждый DStream в постоянную таблицу
Я столкнулся с проблемой с «Spark Streaming» о вставке выходного Dstream впостоянный Таблица SQL. Я хотел бы вставить каждый выходной DStream (исходящий из о...
Как перестать запускать приложение Spark Streaming Изящно?
Как я могу остановить поток искр? Моя работа по потоковой передаче искр работает постоянно. Я хочу остановиться в изящной манере.Я видел ниже вариант отключе...