Cloudera 5.4.2: el tamaño del bloque Avro no es válido o es demasiado grande cuando se usa Flume y la transmisión de Twitter

Hay un pequeño problema cuando intento Cloudera 5.4.2. Base en este artículo Apache Flume - Obteniendo datos de ...

Obteniendo 'chequeando flume.conf por cambios' en un ciclo

Estoy usando Apache Flume 1.4.0 para recopilar archivos de registro (auth.log) y almacenarlos en HDFS (Hadoop 2.6.0). El comando utilizado es: bin/flume-ng agent --conf ./conf/ -f flume.conf -Dflume.root.logger=DEBUG,console -n ...

procesamiento de registro en tiempo real usando apache spark streaming

Quiero crear un sistema donde pueda leer registros en tiempo real y usar apache spark para procesarlo. Estoy confundido si debería usar algo como kafka o canal para pasar los registros a la corriente de chispas o si debo pasar los registros con ...

Problema de reequilibrio al leer mensajes en Kafka

Estoy tratando de leer mensajes sobre el tema de Kafka, pero no puedo leerlo. El proceso se detiene después de algún tiempo, sin leer ningún mensaje. Aquí está el error de reequilibrio que obtengo: [2014-03-21 10:10:53,215] ERROR Error ...

El sumidero HDFS de Flume mantiene archivos pequeños

Estoy tratando de transmitir datos de Twitter a hdfs usando flume y esto: https://github.com/cloudera/cdh-twitter-example/ [https://github.com/cloudera/cdh-twitter-example/] Lo que sea que intente aquí, sigue creando archivos en HDFS que varían ...

¿Cómo utilizar el selector regex_extractor y el interceptor de multiplexación juntos en el canal?

¿Cómo configurar una fuente HTTP para probar la configuración de Flume?

Filtrado de archivos de registro en Flume utilizando interceptores.

¿Apache flume hdfs sink puede aceptar una ruta dinámica para escribir?

¿Cómo instalar y configurar apache flume?