Ограничить размер пакетов Kafka при использовании Spark Streaming

Можно ли ограничить размер пакетов, возвращаемых потребителем Kafka для Spark Streaming?Я спрашиваю, потому что у первой партии, которую я получаю, есть сотн...

Динамическое чтение файлов из HDFS из функций искрового преобразования

Как можно прочитать файл из HDFS в функции spark, не используя sparkContext внутри функции.Пример:

Могут ли SparkContext и StreamingContext сосуществовать в одной программе?

Я пытаюсь настроить код Sparkstreaming, который читает строку с сервера Kafka, но обрабатывает ее, используя правила, записанные в другом локальном файле. Я ...

Как преобразовать JavaPairInputDStream в DataSet / DataFrame в Spark

Я пытаюсь получить потоковые данные отКафка, В этом процессе я могу получать и хранить потоковые данные вJavaPairInputDStream, Теперь мне нужно проанализиров...

установить spark.streaming.kafka.maxRatePerPartition для createDirectStream

Не волнуйтесь. Было бы интересно услышать, как вы поживаете, для дальнейшего использования. Только если вы получите свободную минуту: о)

Большое спасибо. Сработало после перехода на версию 2.11

, но не в подходе к этому вопросу. Попробуйте и задайте новые вопросы, если они возникнут. StructuredStreaming - еще один вариант в семействе Spark.

Вы проверяли это? Я думаю, что он добавляет новые файлы в каталог / путь

некоторой обработки у меня есть DStream [String, ArrayList [String]], поэтому, когда я записываю его в hdfs, используя saveAsTextFile, и после каждого пакета...

, Мне даже удалось отфильтровать RDD, присвоить их набору Status и затем выполнить итерацию по этому набору для окончательной обработки.

аюсь получить доступ к коллекции отфильтрованных DStreams, полученных как в решении этого вопроса:Spark Streaming - лучший способ разделения входного потока на основе фильтра ...