Resultados de la búsqueda a petición "apache-kafka"
UnknownHostException kafka
Estoy tratando de configurar un clúster de Kafka (el primer nodo en el clúster en realidad). Tengo una configuración de clúster zookeeper de un solo nodo. Estoy configurando kafka en un nodo separado. Ambos ejecutan CentOS 6.4, ejecutan IPV6, ...
Advertencia de causa UDF: CachedKafkaConsumer no se está ejecutando en UninterruptibleThread (KAFKA-1894)
En un habitualstructure_kafka_wordcount.py [https://gist.github.com/hrchu/2b2590f2f737ef430ac32b7f8edc15c0]código, Cuando divido líneas en palabras porudf como abajo, my_split = udf(lambda x: x.split(' '), ArrayType(StringType())) words ...
Problema de transmisión de Spark Kafka
Estoy usando maven He agregado las siguientes dependencias <dependency> <!-- Spark dependency --> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming_2.10</artifactId> <version>1.1.0</version> </dependency> <dependency> <!-- Spark ...
¿Cómo implementar la deserialización en el consumidor kafka usando scala?
Tengo la siguiente línea en el código de mi consumidor kafka. val lines = KafkaUtils.createStream(ssc, zkQuorum, group, topicpMap).map(_._2) ¿Cómo deserializar este flujo de "líneas" en el objeto original? La serialización se implementó en el ...
Transmisión de mensajes de un Kafka Cluster a otro
Actualmente estoy intentando, fácilmente, transmitir mensajes de un Tema en un clúster de Kafka a otro (Remoto -> Clúster local). La idea es usar Kafka-Streams de inmediato para que no necesitemos replicar los mensajes reales en el clúster local, ...
Cómo crear un tema en Kafka a través de Java
Quiero crear un tema en Kafka (kafka_2.8.0-0.8.1.1) a través de java. Funciona bien si creo un tema en el símbolo del sistema y si envío un mensaje a través de la API de Java. Pero quiero crear un tema a través de Java API. Después de una larga ...
Número de confirmaciones y compensaciones en cada partición de un tema kafka
Cómo encontrar el número de confirmaciones y el desplazamiento actual en cada partición de unconocido tema kafka Estoy usando kafkav0.8.1.1
¿Cómo configuro las opciones de Java para Kafka?
He estado experimentando con Kafka y vi en la documentación del sitio principal que puedes configurar diferentes opciones para jvm, como el tamaño de almacenamiento dinámico y el recolector de basura que ...
Spark streaming StreamingContext.start () - Error al iniciar el receptor 0
Tengo un proyecto que está utilizando la transmisión por chispa y lo estoy ejecutando con 'spark-submit', pero estoy recibiendo este error: 15/01/14 10:34:18 ERROR ReceiverTracker: Deregistered receiver for stream 0: Error starting receiver 0 - ...
Spark estructurado streaming kafka convertir JSON sin esquema (inferir esquema)
Leí que Spark Structured Streaming no admite inferencia de esquema para leer mensajes de Kafka como JSON. ¿Hay alguna manera de recuperar el esquema de la misma manera que lo hace Spark Streaming? val dataFrame = ...