Estou usando esta configuração do docker-compose para configurar o Kafka localmente:https://github.com/wurstmeister/kafka-docker/

docker-compose up funciona bem, a criação de tópicos via shell funciona bem.

Agora tento me conectar ao Kafka viaspring-kafka:2.1.0.RELEASE

Ao iniciar o aplicativo Spring, ele imprime a versão correta do Kafka:

o.a.kafka.common.utils.AppInfoParser     : Kafka version : 1.0.0
o.a.kafka.common.utils.AppInfoParser     : Kafka commitId : aaa7af6d4a11b29d

Eu tento enviar uma mensagem como esta

kafkaTemplate.send("test-topic", UUID.randomUUID().toString(), "test");

O envio no lado do cliente falha com

UnknownServerException: The server experienced an unexpected error when processing the request

No console do servidor, recebo a mensagemO Magic v1 não suporta cabeçalhos de registros

Error when handling request {replica_id=-1,max_wait_time=100,min_bytes=1,max_bytes=2147483647,topics=[{topic=test-topic,partitions=[{partition=0,fetch_offset=39,max_bytes=1048576}]}]} (kafka.server.KafkaApis)
java.lang.IllegalArgumentException: Magic v1 does not support record headers

O Google sugere um conflito de versão, mas a versão parece se encaixar (org.apache.kafka:kafka-clients:1.0.0 está no caminho de classe).

Alguma pista? Obrigado!

Editar: Eu reduzi a fonte do problema. O envio de Strings simples funciona, mas o envio do Json via JsonSerializer resulta no problema especificado. Aqui está o conteúdo da minha configuração de produtor:

@Value("\${kafka.bootstrap-servers}")
lateinit var bootstrapServers: String

@Bean
fun producerConfigs(): Map<String, Any> =
        HashMap<String, Any>().apply {
            // list of host:port pairs used for establishing the initial connections to the Kakfa cluster
            put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, bootstrapServers)
            put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer::class.java)
            put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, JsonSerializer::class.java)
        }

@Bean
fun producerFactory(): ProducerFactory<String, MyClass> =
        DefaultKafkaProducerFactory(producerConfigs())

@Bean
fun kafkaTemplate(): KafkaTemplate<String, MyClass> =
        KafkaTemplate(producerFactory())