configure spark.streaming.kafka.maxRatePerPartition para createDirectStream
Preciso aumentar a taxa de entrada por partição para meu aplicativo e uso.set("spark.streaming.kafka.maxRatePerPartition",100)
para a configuração. A duração do fluxo é de 10s, então espero que o processo5*100*10=5000
mensagens para este lote. No entanto, a taxa de entrada que recebi é de aproximadamente 500. Você pode sugerir alguma modificação para aumentar essa taxa?