Vamos dizer que tenho vários dispositivos. Cada dispositivo possui diferentes tipos de sensores. Agora, quero enviar os dados de cada dispositivo para cada sensor para o kafka. Mas estou confuso sobre os tópicos kafka. Para processar esses dados em tempo real

É bom ter um tópico kafka por dispositivo e todos os sensores desse dispositivo enviarão os dados para um tópico kafka específico, ou devo criar um tópico e todos os dispositivos enviarão os dados para esse tópico.

Se eu for no primeiro caso em que criaremos tópico por dispositivo,

Dispositivo1 (sensor A, B, C) -> topic1

Dispositivo2 (sensor A, B, C) -> topic2

quantos tópicos eu posso criar?Esse modelo será dimensionado?

Caso 2: onde, enviando dados para um tópico

Dispositivo1 (sensor A, B, C), Dispositivo2 (sensor A, B, C) .... DispositivoN .... -> tópico

Isso não será um gargalo para os dados. Como ele se comportará, pois os dados da fila de algum sensor estarão muito atrasados na fila e não serão processados em tempo real.

Esse modelo será dimensionado?

EDITAR

Digamos que cada dispositivo esteja associado ao usuário (muitos para um). Então, eu quero processar dados de acordo com os dispositivos. Portanto, da maneira que eu quero processar os dados, cada dispositivo e seus dados de sensor irão para o usuário após algum processamento.

Diga que eu faço seguindo

Device1

-> Sensor A - Tópico1 Partição 1

-> Sensor B - Tópico1 Partição 2

Dispositivo2

-> Sensor A - Tópico2 Partição 1

-> Sensor B - Tópico2 Partição 2

Eu quero algum tipo de comportamento de pub / sub. Como os dispositivos podem ser adicionados ou removidos, também os sensores podem ser adicionados ou removidos. Existe uma maneira de criar esses tópicos e particionar em tempo real.

Se não for kafka, qual pub / sub será adequado para esse tipo de comportamento.