Результаты поиска по запросу "spark-streaming"

2 ответа

ForeachRDD выполняется на драйвере?

Я пытаюсь обработать некоторые данные XML, полученные в очереди JMS (QPID), используя потоковую передачу Spark. После получения XML в качестве DStream я прео...

1 ответ

Подсчет количества искр

2 ответа

):

я есть метка времени в UTC и ISO8601, но при использовании структурированной потоковой передачи она автоматически конвертируется в местное время. Есть ли способ остановить это преобразование? Я хотел бы иметь это в UTC. Я читаю данные JSON от ...

ТОП публикаций

6 ответов

Как преобразовать данные Spark Streaming в Spark DataFrame

3 ответа

Ограничить размер пакетов Kafka при использовании Spark Streaming

Можно ли ограничить размер пакетов, возвращаемых потребителем Kafka для Spark Streaming?Я спрашиваю, потому что у первой партии, которую я получаю, есть сотн...

1 ответ

Spark streaming StreamingContext.start () - Ошибка запуска приемника 0

У меня есть проект, использующий потоковую передачу по искру, и я запускаю его с помощью «spark-submit», но у меня возникает эта ошибка:

2 ответа

Чтение с Кассандры с использованием Spark Streaming

У меня проблема, когда я использую потоковую передачу для чтения с Кассандры.https://github.com/datastax/spark-cassandra-connector/blob/master/doc/8_streamin...

1 ответ

список зависимостей

аюсь запустить простую запись данных в пример ElasticSearch. Тем не менее, я продолжаю получать эту ошибку: EsHadoopIllegalArgumentException: Cannot detect ES version - typically this happens if the network/Elasticsearch cluster is not ...

4 ответа

Используйте схему для преобразования сообщений AVRO с помощью Spark в DataFrame

Есть ли способ использовать схему для преобразования Avro [/questions/tagged/avro] сообщения от Кафка [/questions/tagged/kafka] с Искра [/questions/tagged/spark] в Dataframe [/questions/tagged/dataframe]? Файл схемы для записей пользователя: { ...

1 ответ

установить spark.streaming.kafka.maxRatePerPartition для createDirectStream