Kafka teilt eingehende Nachrichten entsprechend der vom Produzenten zugewiesenen Partition in Partitionen auf. Nachrichten von Partitionen werden dann von Verbrauchern in verschiedenen Verbrauchergruppen konsumiert.

Diese Architektur macht es mir zu schaffen, Kafka nicht als Arbeits- / Aufgabenwarteschlange zu verwenden, da ich die Partition zum Zeitpunkt der Produktion angeben muss, wodurch indirekt eingeschränkt wird, welche Konsumenten daran arbeiten können, da eine Partition nur an einen Konsumenten in einer Konsumentengruppe gesendet wird . Ich würde es vorziehen, die Partition nicht im Voraus anzugeben, damit derjenige, der für diese Aufgabe zur Verfügung steht, dies tun kann. Gibt es eine Möglichkeit, Partitionen / Produzenten in einer Kafka-Architektur zu strukturieren, in der Aufgaben vom nächsten verfügbaren Konsumenten abgerufen werden können, ohne die Arbeit im Voraus aufteilen zu müssen, indem eine Partition ausgewählt wird, wenn die Arbeit produziert wird?

Wenn für dieses Thema nur eine Partition verwendet wird, werden alle Aufgaben in dieselbe Warteschlange gestellt. In diesem Fall ist die Anzahl der Konsumenten auf 1 pro Konsumentengruppe beschränkt, sodass sich jeder Konsument in einer anderen Gruppe befinden muss. Dann werden alle Aufgaben auf die einzelnen Verbrauchergruppen verteilt. Dies ist jedoch nicht die Art von Arbeitswarteschlange, nach der ich suche.

Ist Apache Kafka für die Verwendung als Aufgabenwarteschlange geeignet?