Результаты поиска по запросу "spark-streaming"
SQL через Spark Streaming
Это код для запуска простых SQL-запросов через Spark Streaming.
Будет ли какой-нибудь сценарий, когда Spark RDD не сможет удовлетворить неизменность?
СДР зажигания сконструированы в неизменном, отказоустойчивом и отказоустойчивом виде.Удовлетворяет ли СДР неизменность во всех сценариях? Или есть какой-то с...
Я сделал это, вероятно, 5 разными способами для разных проектов, над которыми я работал с различными требованиями. Самый простой способ - смоделировать разрыв между производителем / потребителем (основываясь на показателях того, сколько элементов в очереди / насколько далеко отстает «текущий» в потоке), и отрегулировать поведение либо производителя, либо потребителя на основе значения этого показателя ( автоматически масштабировать потребителей, или производить другой тип или меньше предметов). Если вы можете описать поведение, вы можете смоделировать и кодировать его.
ичок в распределенной потоковой обработке (Spark). Я прочитал некоторые учебные пособия / примеры, в которых рассказывается о том, как обратное давление приводит к замедлению работы производителя (ов) в ответ на перегрузку потребителей. ...
Spark Streaming: HDFS
Я не могу получить задание Spark для потоковой передачи «старых» файлов из HDFS.Если по какой-то причине мое задание Spark не работает (например, демонстраци...
Исключение при доступе к KafkaOffset из RDD
У меня есть потребитель Spark, который течет из Кафки. Я пытаюсь управлять смещениями для семантики, выполняемой ровно один раз.Однако при доступе к смещению...
):
я есть метка времени в UTC и ISO8601, но при использовании структурированной потоковой передачи она автоматически конвертируется в местное время. Есть ли способ остановить это преобразование? Я хотел бы иметь это в UTC. Я читаю данные JSON от ...
google.com/...
лаем потоковую передачу данных Кафки, которые собираются из MySQL. Теперь, когда вся аналитика сделана, я хочу сохранить свои данные прямо в Hbase. Я пролистал документ с потоковой структурой искры, но не смог найти ни одного приемника с Hbase. ...