Результаты поиска по запросу "spark-streaming"
ForeachRDD выполняется на драйвере?
Я пытаюсь обработать некоторые данные XML, полученные в очереди JMS (QPID), используя потоковую передачу Spark. После получения XML в качестве DStream я прео...
Spark Stateful Streaming Job зависает на контрольной точке на S3 после длительного времени безотказной работы
Недавно я проводил стресс-тестирование нашего приложения Spark Streaming. Стресс-тестирование потребляет около 20 000 сообщений в секунду с размерами сообщен...
com.fasterxml.jackson.databind.JsonMappingException: версия Джексона слишком старая 2.5.3
Моя ОС - OS X 10.11.6. Я использую Spark 2.0, Zeppelin 0.6, Scala 2.11Когда я запускаю этот код в Zeppelin, я получаю исключение от Джексона. Когда я запуска...
Spark не печатает результаты на консоли в функции карты
У меня есть простое приложение Spark, работающее в режиме кластера.
Исключение при доступе к KafkaOffset из RDD
У меня есть потребитель Spark, который течет из Кафки. Я пытаюсь управлять смещениями для семантики, выполняемой ровно один раз.Однако при доступе к смещению...
Spark DataFrame: поддерживает ли groupBy после orderBy этот порядок?
У меня есть датафрейм Spark 2.0
Как сохранить / вставить каждый DStream в постоянную таблицу
Я столкнулся с проблемой с «Spark Streaming» о вставке выходного Dstream впостоянный Таблица SQL. Я хотел бы вставить каждый выходной DStream (исходящий из о...
Ограничить размер пакетов Kafka при использовании Spark Streaming
Можно ли ограничить размер пакетов, возвращаемых потребителем Kafka для Spark Streaming?Я спрашиваю, потому что у первой партии, которую я получаю, есть сотн...