Результаты поиска по запросу "spark-streaming"

2 ответа

Spark с использованием Python: Как решить Этап x содержит задачу очень большого размера (ххх КБ). Максимальный рекомендуемый размер задачи составляет 100 КБ

Я только что создал список Python

3 ответа

Почему запуск StreamingContext завершается с ошибкой «IllegalArgumentException: требование не выполнено: выходные операции не зарегистрированы, поэтому ничего не выполняется»

1 ответ

spark-submit: --jars не работает

Я создаю систему метрик для задания Spark Streaming, в системе метрики собираются у каждого исполнителя, поэтому источник метрик (класс, используемый для сбо...

ТОП публикаций

1 ответ

Я сделал это, вероятно, 5 разными способами для разных проектов, над которыми я работал с различными требованиями. Самый простой способ - смоделировать разрыв между производителем / потребителем (основываясь на показателях того, сколько элементов в очереди / насколько далеко отстает «текущий» в потоке), и отрегулировать поведение либо производителя, либо потребителя на основе значения этого показателя ( автоматически масштабировать потребителей, или производить другой тип или меньше предметов). Если вы можете описать поведение, вы можете смоделировать и кодировать его.

ичок в распределенной потоковой обработке (Spark). Я прочитал некоторые учебные пособия / примеры, в которых рассказывается о том, как обратное давление приводит к замедлению работы производителя (ов) в ответ на перегрузку потребителей. ...

2 ответа

ForeachRDD выполняется на драйвере?

Я пытаюсь обработать некоторые данные XML, полученные в очереди JMS (QPID), используя потоковую передачу Spark. После получения XML в качестве DStream я прео...

7 ответов

Spark Streaming: StreamingContext не читает файлы данных

Я новичок в Spark Streaming и пытаюсь начать работу с ним, используя Spark-shell. Предполагая, что у меня есть каталог с именем «dataTest», помещенный в корн...

1 ответ

Настраиваемое участие JavaDStreamPairRDD

В потоковой передаче Spark, каков рекомендуемый способ реализации настраиваемого участника на DStreams?Я использовал JavaPairRDD.partitionBy (Partitioner) в ...

2 ответа

Spark работник не может подключиться к мастеру

1 ответ

Пул соединений в приложении потокового pyspark

Как правильно использовать пулы соединений в приложении потокового pyspark?Я прочиталhttps://forums.databricks.com/questions/3057/how-to-reuse-database-sessi...

1 ответ

Как создать несколько SparkContexts в консоли