Результаты поиска по запросу "spark-streaming"
Я сделал это, вероятно, 5 разными способами для разных проектов, над которыми я работал с различными требованиями. Самый простой способ - смоделировать разрыв между производителем / потребителем (основываясь на показателях того, сколько элементов в очереди / насколько далеко отстает «текущий» в потоке), и отрегулировать поведение либо производителя, либо потребителя на основе значения этого показателя ( автоматически масштабировать потребителей, или производить другой тип или меньше предметов). Если вы можете описать поведение, вы можете смоделировать и кодировать его.
ичок в распределенной потоковой обработке (Spark). Я прочитал некоторые учебные пособия / примеры, в которых рассказывается о том, как обратное давление приводит к замедлению работы производителя (ов) в ответ на перегрузку потребителей. ...
Spark Stateful Streaming Job зависает на контрольной точке на S3 после длительного времени безотказной работы
Недавно я проводил стресс-тестирование нашего приложения Spark Streaming. Стресс-тестирование потребляет около 20 000 сообщений в секунду с размерами сообщен...
Spark Streaming mapWithState, кажется, периодически перестраивает завершенное состояние
Я работаю над потоковым проектом Scala (2.11) / Spark (1.6.1) и использую
Hive Create Multi маленькие файлы для каждой вставки в HDFS
следующее уже достигнутоKafka Producer извлекает данные из твиттера с помощью Spark Streaming.Потребитель Kafka загружает данные в таблицу Hive External (в H...
Проблемы с надежностью Checkpointing / WAL в Spark Streaming 1.6.0
ОписаниеУ нас есть приложение Spark Streaming 1.5.2 в Scala, которое считывает события JSON из потока Kinesis, выполняет некоторые преобразования / агрегации...
Пул соединений в приложении потокового pyspark
Как правильно использовать пулы соединений в приложении потокового pyspark?Я прочиталhttps://forums.databricks.com/questions/3057/how-to-reuse-database-sessi...
Вам понадобятся классы потокового воспроизведения во время выполнения, не так ли? Но это не может быть плохой идеей, потому что, возможно, ваш дистрибутив Hadoop предоставит эти двоичные файлы, поэтому вам не нужно упаковывать их в свой собственный jar.
исал простой поток kafka с использованием Scala. Это хорошо работает на местном. Я взял толстую банку и отправил в кластер скала. Я получаю класс не найдена ошибка после отправки задания. если я достану банку с жиром, она будет зависеть от этой ...
Spark DataFrame: поддерживает ли groupBy после orderBy этот порядок?
У меня есть датафрейм Spark 2.0