Результаты поиска по запросу "spark-streaming"

1 ответ

Я сделал это, вероятно, 5 разными способами для разных проектов, над которыми я работал с различными требованиями. Самый простой способ - смоделировать разрыв между производителем / потребителем (основываясь на показателях того, сколько элементов в очереди / насколько далеко отстает «текущий» в потоке), и отрегулировать поведение либо производителя, либо потребителя на основе значения этого показателя ( автоматически масштабировать потребителей, или производить другой тип или меньше предметов). Если вы можете описать поведение, вы можете смоделировать и кодировать его.

ичок в распределенной потоковой обработке (Spark). Я прочитал некоторые учебные пособия / примеры, в которых рассказывается о том, как обратное давление приводит к замедлению работы производителя (ов) в ответ на перегрузку потребителей. ...

1 ответ

Spark Stateful Streaming Job зависает на контрольной точке на S3 после длительного времени безотказной работы

Недавно я проводил стресс-тестирование нашего приложения Spark Streaming. Стресс-тестирование потребляет около 20 000 сообщений в секунду с размерами сообщен...

2 ответа

Spark Streaming mapWithState, кажется, периодически перестраивает завершенное состояние

Я работаю над потоковым проектом Scala (2.11) / Spark (1.6.1) и использую

ТОП публикаций

3 ответа

Hive Create Multi маленькие файлы для каждой вставки в HDFS

следующее уже достигнутоKafka Producer извлекает данные из твиттера с помощью Spark Streaming.Потребитель Kafka загружает данные в таблицу Hive External (в H...

1 ответ

Проблемы с надежностью Checkpointing / WAL в Spark Streaming 1.6.0

ОписаниеУ нас есть приложение Spark Streaming 1.5.2 в Scala, которое считывает события JSON из потока Kinesis, выполняет некоторые преобразования / агрегации...

1 ответ

Прочитайте тему Кафки в пакетном задании Spark

1 ответ

Пул соединений в приложении потокового pyspark

Как правильно использовать пулы соединений в приложении потокового pyspark?Я прочиталhttps://forums.databricks.com/questions/3057/how-to-reuse-database-sessi...

1 ответ

Вам понадобятся классы потокового воспроизведения во время выполнения, не так ли? Но это не может быть плохой идеей, потому что, возможно, ваш дистрибутив Hadoop предоставит эти двоичные файлы, поэтому вам не нужно упаковывать их в свой собственный jar.

исал простой поток kafka с использованием Scala. Это хорошо работает на местном. Я взял толстую банку и отправил в кластер скала. Я получаю класс не найдена ошибка после отправки задания. если я достану банку с жиром, она будет зависеть от этой ...

5 ответов

Spark DataFrame: поддерживает ли groupBy после orderBy этот порядок?

У меня есть датафрейм Spark 2.0

2 ответа

Необработанная обработка исключений в Spark