configure spark.streaming.kafka.maxRatePerPartition para createDirectStream

Preciso aumentar a taxa de entrada por partição para meu aplicativo e uso.set("spark.streaming.kafka.maxRatePerPartition",100) para a configuração. A duração do fluxo é de 10s, então espero que o processo5*100*10=5000 mensagens para este lote. No entanto, a taxa de entrada que recebi é de aproximadamente 500. Você pode sugerir alguma modificação para aumentar essa taxa?

questionAnswers(1)

yourAnswerToTheQuestion