Результаты поиска по запросу "spark-streaming"
Динамическое чтение файлов из HDFS из функций искрового преобразования
Как можно прочитать файл из HDFS в функции spark, не используя sparkContext внутри функции.Пример:
Как перестать запускать приложение Spark Streaming Изящно?
Как я могу остановить поток искр? Моя работа по потоковой передаче искр работает постоянно. Я хочу остановиться в изящной манере.Я видел ниже вариант отключе...
Ограничить размер пакетов Kafka при использовании Spark Streaming
Можно ли ограничить размер пакетов, возвращаемых потребителем Kafka для Spark Streaming?Я спрашиваю, потому что у первой партии, которую я получаю, есть сотн...
Как сохранить / вставить каждый DStream в постоянную таблицу
Я столкнулся с проблемой с «Spark Streaming» о вставке выходного Dstream впостоянный Таблица SQL. Я хотел бы вставить каждый выходной DStream (исходящий из о...
Spark DataFrame: поддерживает ли groupBy после orderBy этот порядок?
У меня есть датафрейм Spark 2.0
Исключение при доступе к KafkaOffset из RDD
У меня есть потребитель Spark, который течет из Кафки. Я пытаюсь управлять смещениями для семантики, выполняемой ровно один раз.Однако при доступе к смещению...
Spark не печатает результаты на консоли в функции карты
У меня есть простое приложение Spark, работающее в режиме кластера.
Используйте схему для преобразования сообщений AVRO с помощью Spark в DataFrame
Есть ли способ использовать схему для преобразования Avro [/questions/tagged/avro] сообщения от Кафка [/questions/tagged/kafka] с Искра [/questions/tagged/spark] в Dataframe [/questions/tagged/dataframe]? Файл схемы для записей пользователя: { ...
com.fasterxml.jackson.databind.JsonMappingException: версия Джексона слишком старая 2.5.3
Моя ОС - OS X 10.11.6. Я использую Spark 2.0, Zeppelin 0.6, Scala 2.11Когда я запускаю этот код в Zeppelin, я получаю исключение от Джексона. Когда я запуска...