Результаты поиска по запросу "spark-streaming"
ForeachRDD выполняется на драйвере?
Я пытаюсь обработать некоторые данные XML, полученные в очереди JMS (QPID), используя потоковую передачу Spark. После получения XML в качестве DStream я прео...
):
я есть метка времени в UTC и ISO8601, но при использовании структурированной потоковой передачи она автоматически конвертируется в местное время. Есть ли способ остановить это преобразование? Я хотел бы иметь это в UTC. Я читаю данные JSON от ...
Ограничить размер пакетов Kafka при использовании Spark Streaming
Можно ли ограничить размер пакетов, возвращаемых потребителем Kafka для Spark Streaming?Я спрашиваю, потому что у первой партии, которую я получаю, есть сотн...
Spark streaming StreamingContext.start () - Ошибка запуска приемника 0
У меня есть проект, использующий потоковую передачу по искру, и я запускаю его с помощью «spark-submit», но у меня возникает эта ошибка:
Чтение с Кассандры с использованием Spark Streaming
У меня проблема, когда я использую потоковую передачу для чтения с Кассандры.https://github.com/datastax/spark-cassandra-connector/blob/master/doc/8_streamin...
список зависимостей
аюсь запустить простую запись данных в пример ElasticSearch. Тем не менее, я продолжаю получать эту ошибку: EsHadoopIllegalArgumentException: Cannot detect ES version - typically this happens if the network/Elasticsearch cluster is not ...
Используйте схему для преобразования сообщений AVRO с помощью Spark в DataFrame
Есть ли способ использовать схему для преобразования Avro [/questions/tagged/avro] сообщения от Кафка [/questions/tagged/kafka] с Искра [/questions/tagged/spark] в Dataframe [/questions/tagged/dataframe]? Файл схемы для записей пользователя: { ...