Limit Kafka-Stapelgröße bei Verwendung von Spark Streaming

Ist es möglich, die Größe der vom Kafka-Consumer für Spark Streaming zurückgegebenen Stapel zu begrenzen?

Ich frage, weil der erste Stapel, den ich erhalte, Hunderte von Millionen Datensätzen enthält und es Ewigkeiten dauert, sie zu verarbeiten und zu überprüfen.

Antworten auf die Frage(6)

Ihre Antwort auf die Frage