Resultados da pesquisa a pedido "avro"
Usando o apache avro reflect
A serialização Avro é popular entre os usuários do Hadoop, mas os exemplos são difíceis de encontrar.Alguém pode me ajudar com este código de exemplo? Estou ...
Estrutura de serialização de dados
Eu sou novo neste Apache Avro (framework de serialização). Eu sei o que é a serialização, mas por que existem frameworks separados como avro, thrift, buffers...
Como definir avro schema para o complexo json document?
Eu tenho um documento JSON que gostaria de converter para o Avro e preciso que um esquema seja especificado para esse fim. Aqui está o documento JSON para o qual eu gostaria de definir o esquema avro: { "uid": 29153333, "somefield": "somevalue", ...
Avro vs. Parquet
Estou planejando usar um dos formatos de arquivo hadoop para o meu projeto relacionado ao hadoop. EuCompreendoparquet é eficiente para consultas baseadas em colunas e avro para varredura completa ou quando precisamos de todos os dados das ...
Deserializador Avro Kafka do Spark Python
Eu criei um fluxo kafka em um aplicativo python spark e posso analisar qualquer texto que o atravesse. kafkaStream = KafkaUtils.createStream(ssc, zkQuorum, "spark-streaming-consumer", {topic: 1})Quero alterar isso para poder analisar mensagens ...
Como ler e escrever o mapa <String, Object> de / para o arquivo de parquet em Java ou Scala?
Procurando um exemplo conciso sobre como ler e escreverMap<String, Object> de / para arquivo de parquet em Java ou Scala? Aqui está a estrutura esperada, usandocom.fasterxml.jackson.databind.ObjectMapper como serializador em Java (ou seja, ...
Não foi possível carregar corretamente os dados do avro do twitter na tabela de seção
Precisa da sua ajuda! Estou tentando um exercício trivial de obter os dados do twitter e carregá-los no Hive para análise. Embora eu seja capaz de obter dados no HDFS usando o flume (usando o Twitter 1% firehose Source) e também posso carregar ...