Kafka Bestellung mehrerer Partitionen

Mir ist bekannt, dass es nicht möglich ist, mehrere Partitionen in Kafka zu bestellen, und dass die Partitionsreihenfolge nur für einen einzelnen Consumer innerhalb einer Gruppe (für eine einzelne Partition) garantiert ist. Aber ist es jetzt mit Kafka Streams 0.10 möglich, dies zu erreichen? Wenn wir die Zeitstempelfunktion verwenden, damit jede Nachricht in jeder Partition die Reihenfolge beibehält, sagen wir mal mit Kafka Streams 0.10, ist das jetzt möglich? Unter der Annahme, dass wir alle Nachrichten erhalten, könnten wir nicht alle Partitionen basierend auf dem verbrauchten Zeitstempel sortieren und sie möglicherweise an ein separates Thema zum Verbrauch weiterleiten?

Im Moment muss ich die Bestellung aufrechterhalten, dies bedeutet jedoch, dass eine einzelne Partition mit einem einzelnen Consumer-Thread vorhanden ist. Ich wollte dies in mehrere Partitionen ändern, um die Parallelität zu erhöhen, aber irgendwie "in Ordnung bringen".

Irgendwelche Gedanken? Danke

Antworten auf die Frage(4)

Ihre Antwort auf die Frage