Resultados de la búsqueda a petición "avro"
error avro en AWS EMR
Estoy usando spark-redshift (https://github.com/databricks/spark-redshift [https://github.com/databricks/spark-redshift]) que utiliza avro para la transferencia. Leer de Redshift está bien, mientras escribo me sale Caused by: ...
Oozie: ¿Lanzar Mapa-Reducir desde la acción Ojazie <java>?
Estoy tratando de ejecutar una tarea Map-Reduce en un flujo de trabajo de Oozie usando un<java> acción. O'Reilley'sApache Oozie (Islam and Srinivasan 2015) señala que: Si bien no se recomienda, la acción de Java se puede utilizar para ...
Comenzando con Avro
Quiero comenzar a usar Avro con Map Reduce. ¿Alguien puede sugerir un buen tutorial / ejemplo para comenzar? No pude encontrar mucho a través de la búsqueda en Internet.
¿Cómo codificar / decodificar mensajes Kafka usando el codificador binario Avro?
Estoy tratando de usar Avro para los mensajes que se leen / escriben en Kafka. ¿Alguien tiene un ejemplo del uso del codificador binario Avro para codificar / decodificar datos que se colocarán en una cola de mensajes? Necesito la parte Avro ...
¿Cuáles son las ventajas y desventajas del formato de parquet en comparación con otros formatos?
Las características del parquet Apache son: AutodescriptivoFormato de columnasIndependiente del idiomaEn comparación con Avro, Sequence Files, RC File, etc. Quiero una visión general de los formatos. Ya he leído:Cómo funciona Impala con formatos ...
Cómo generar archivos de parquet utilizando Java puro (incluidos los tipos de fecha y decimales) y cargarlos en S3 [Windows] (sin HDFS)
Recientemente tuve un requisito en el que necesitaba generar archivos de Parquet que pudieran ser leídos por Apache Spark utilizando solo Java (sin instalaciones de software adicionales como: Apache Drill, Hive, Spark, etc.). Los archivos debían ...
Cómo convertir el registro genérico avro anidado a fila
Tengo un código para convertir mi registro avro a Row usando la funciónavroToRowConverter() directKafkaStream.foreachRDD(rdd -> { JavaRDD<Row> newRDD= rdd.map(x->{ Injection<GenericRecord, byte[]> recordInjection ...
Spark Python Deserializador Avro Kafka
He creado un flujo de kafka en una aplicación Python Spark y puedo analizar cualquier texto que llegue a través de él. kafkaStream = KafkaUtils.createStream(ssc, zkQuorum, "spark-streaming-consumer", {topic: 1})Quiero cambiar esto para poder ...
Concat archivos Avro usando avro-tools
Estoy tratando de fusionar archivos avro en un archivo grande, el problema esconcat el comando no acepta el comodín hadoop jar avro-tools.jar concat /input/part* /output/bigfile.avroYo obtengo: Excepción en el hilo "main" ...
¿Cómo escribir la salida avro en hadoop map reduce?
Escribí un programa de conteo de palabras de Hadoop que tomaTextInputFormat input y se supone que genera el recuento de palabras en formato avro. El trabajo Map-Reduce se está ejecutando bien, pero la salida de este trabajo se puede leer ...