Não é possível encontrar o tópico ao produzir mensagens: UNKNOWN_TOPIC_OR_PARTITION

Question

Jan 09, 2017, 02:30 PM

Não é possível encontrar o tópico ao produzir mensagens: UNKNOWN_TOPIC_OR_PARTITION

Eu tenho um cluster kafka de dois nós (instâncias EC2) em que cada nó é usado como um broker separado. Quando executo um produtor na instância líder com o seguinte comando:

kafka-console-producer.sh   --broker-list localhost:9092 --topic test

Eu recebo os seguintes erros.

mensagem de teste [2017-01-09 13: 22: 39,483] Erro WARN ao buscar metadados com o ID de correlação 0: {test = UNKNOWN_TOPIC_OR_PARTITION} (org.apache.kafka.clients.NetworkClient) [09-01-2017 13:22: 39.562] Erro WARN ao buscar metadados com o ID de correlação 1: {test = UNKNOWN_TOPIC_OR_PARTITION} (org.apache.kafka.clients.NetworkClient) [2017-01-09 13: 22: 39,663] Erro WARN ao obter metadados com o ID de correlação 2: {test = UNKNOWN_TOPIC_OR_PARTITION} (org.apache.kafka.clients.NetworkClient) ...

Listando os tópicos comkaka-topics.sh mostra que o tópico existe.

A descrição do tópico com:

kafka-topics.sh --zookeeper localhost:2181 --describe --topic test

retorna

 Topic:test PartitionCount:8    ReplicationFactor:1 Configs:
     Topic: test    Partition: 0    Leader: 1   Replicas: 1 Isr: 1
     Topic: test    Partition: 1    Leader: 2   Replicas: 2 Isr: 2
     Topic: test    Partition: 2    Leader: 1   Replicas: 1 Isr: 1
     Topic: test    Partition: 3    Leader: 2   Replicas: 2 Isr: 2
     Topic: test    Partition: 4    Leader: 1   Replicas: 1 Isr: 1
     Topic: test    Partition: 5    Leader: 2   Replicas: 2 Isr: 2
     Topic: test    Partition: 6    Leader: 1   Replicas: 1 Isr: 1
     Topic: test    Partition: 7    Leader: 2   Replicas: 2 Isr: 2

Estou usando o kafka 0.10.1.1.

server.propertes O arquivo contém:

listeners=PLAINTEXT://0.0.0.0:9092
advertised.listeners=PLAINTEXT://0.0.0.0:9092
port=9092
host.name=kafka-node1(kafka-node1 for the second host)
advertised.host.name=kafka-node1(kafka-node2 for the second host)
advertised.port=9092

Quando tento produzir mensagens do segundo host, recebo a mensagem abaixo:

AVISO Erro obtido, produza resposta com o ID de correlação 1 no tópico-partição teste-4, tentando novamente (restam 2 tentativas). Erro: NOT_LEADER_FOR_PARTITION (org.apache.kafka.clients.producer.internals.Sender) ....

Alguém por favor pode ajudar? Obrigado.