Resultados da pesquisa a pedido "avro"
O Apache Kafka e o Avro: org.apache.avro.generic.GenericData $ Record não podem ser convertidos em com.harmeetsingh13.java.Customer
Sempre que estou tentando ler a mensagem da fila kafka, recebo a seguinte exceção: [error] (run-main-0) java.lang.ClassCastException: org.apache.avro.generic.GenericData$Record cannot be cast to com.harmeetsingh13.java.Customer ...
Pergunta preenchendo registros aninhados no Avro usando um GenericRecord
Suponha que eu tenha o seguinte esquema: { "name" : "Profile", "type" : "record", "fields" : [ { "name" : "firstName", "type" : "string" }, { "name" : "address" , "type" : { "type" : "record", "name" : "AddressUSRecord", "fields" : [ { "name" : ...
Quais são os prós e os contras do formato parquet em comparação com outros formatos?
As características do Apache Parquet são: Auto-descriçãoFormato colunarIndependente do idiomaEm comparação com Avro, Sequence Files, RC File etc. Quero uma visão geral dos formatos. Eu já li:Como o Impala funciona com formatos de arquivo ...
Deserializador Avro Kafka do Spark Python
Eu criei um fluxo kafka em um aplicativo python spark e posso analisar qualquer texto que o atravesse. kafkaStream = KafkaUtils.createStream(ssc, zkQuorum, "spark-streaming-consumer", {topic: 1})Quero alterar isso para poder analisar mensagens ...
Criar uma tabela do Postgresql a partir do Avro Schema no Nifi
Usando o InferAvroSchema, obtive um esquema do Avro do meu arquivo. Eu quero criar uma tabela no PostregSql usando este esquema do Avro. Qual processador eu tenho que usar. Eu uso: GetFile-> InferAvroSchema-> quero criar uma tabela a partir ...
Esquema Avro para desencadear StructType
Este é efetivamente o mesmo que o meupergunta anterior [https://stackoverflow.com/questions/33807145/evolving-a-schema-with-spark-dataframe/] , mas usando Avro em vez de JSON como formato de dados. Estou trabalhando com um quadro de dados Spark ...
Utilize o esquema para converter mensagens AVRO com Spark em DataFrame
Existe uma maneira de usar um esquema para converter avro [/questions/tagged/avro] mensagens de kafka [/questions/tagged/kafka] comfaísc [/questions/tagged/spark] paraquadro de dado [/questions/tagged/dataframe]? O arquivo de esquema para ...
Estrutura de serialização de dados
Eu sou novo neste Apache Avro (framework de serialização). Eu sei o que é a serialização, mas por que existem frameworks separados como avro, thrift, buffers...