Resultados da pesquisa a pedido "avro"
Deserializador Avro Kafka do Spark Python
Eu criei um fluxo kafka em um aplicativo python spark e posso analisar qualquer texto que o atravesse. kafkaStream = KafkaUtils.createStream(ssc, zkQuorum, "spark-streaming-consumer", {topic: 1})Quero alterar isso para poder analisar mensagens ...
Não foi possível chamar o plugin avro-maven
Minha pergunta é semelhante aNão foi possível compilar e criar o arquivo .avro a partir de .avsc usando o Maven [https://stackoverflow.com/questions/20753109/unable-to-compile-and-create-avro-file-from-avsc-using-maven] Eu tentei todas as coisas ...
Como ler e escrever o mapa <String, Object> de / para o arquivo de parquet em Java ou Scala?
Procurando um exemplo conciso sobre como ler e escreverMap<String, Object> de / para arquivo de parquet em Java ou Scala? Aqui está a estrutura esperada, usandocom.fasterxml.jackson.databind.ObjectMapper como serializador em Java (ou seja, ...
Não foi possível carregar corretamente os dados do avro do twitter na tabela de seção
Precisa da sua ajuda! Estou tentando um exercício trivial de obter os dados do twitter e carregá-los no Hive para análise. Embora eu seja capaz de obter dados no HDFS usando o flume (usando o Twitter 1% firehose Source) e também posso carregar ...
Oozie: Iniciar o Map-Reduce da ação Oozie <java>?
Estou tentando executar uma tarefa Map-Reduce em um fluxo de trabalho Oozie usando um<java> açao. O'Reilley'sApache Oozie (Islam e Srinivasan 2015) observa que: Embora não seja recomendado, a ação Java pode ser usada para executar tarefas ...
Cloudera 5.4.2: o tamanho do bloco Avro é inválido ou muito grande ao usar o Flume e o Twitter
Há um pequeno problema quando tento o Cloudera 5.4.2. Baseie-se neste artigo Apache Flume - Buscando dados do ...
Criar tabela do Hive para ler arquivos em parquet do esquema parquet / avro
Estamos procurando uma solução para criar uma tabela de seção externa para ler dados de arquivos em parquet de acordo com um esquema parquet / avro. de outra maneira, como gerar uma tabela de colméia a partir de um esquema parquet / ...
Introdução ao Avro
Eu quero começar a usar o Avro com o Map Reduce. Alguém pode sugerir um bom tutorial / exemplo para começar. Não consegui encontrar muita coisa na pesquisa na Internet.
avro error no AWS EMR
Estou usando o shift-redshift (https://github.com/databricks/spark-redshift [https://github.com/databricks/spark-redshift]) que usa o avro para transferência. Ler do Redshift é bom, enquanto escrevo, estou recebendo Caused by: ...
Arquivos Concat Avro usando avro-tools
Estou tentando mesclar arquivos avro em um arquivo grande, o problema éconcat comando não aceita o curinga hadoop jar avro-tools.jar concat /input/part* /output/bigfile.avroEu recebo: Exceção no encadeamento "main" ...