Suchergebnisse für Anfrage "avro"
Avro-Schema berücksichtigt nicht die Abwärtskompatibilität
Ich habe dieses Avro-Schema { "namespace": "xx.xxxx.xxxxx.xxxxx", "type": "record", "name": "MyPayLoad", "fields": [ {"name": "filed1", "type": "string"}, {"name": "filed2", "type": "long"}, {"name": "filed3", "type": "boolean"}, { "name" : ...
Verwenden Sie das Schema, um AVRO-Nachrichten mit Spark in DataFrame @ zu konvertiere
Gibt es eine Möglichkeit, ein Schema zum Konvertieren von @ zu verwende avro [/questions/tagged/avro] Nachrichten von kafka [/questions/tagged/kafka] mitFunk [/questions/tagged/spark] zu dataframe [/questions/tagged/dataframe]? Die Schemadatei ...
Avro-Maven-Plugin kann nicht aufgerufen werden
Meine Frage ist ähnlich wieKompilieren und Erstellen von .avro-Dateien aus .avsc mit Maven nicht möglich [https://stackoverflow.com/questions/20753109/unable-to-compile-and-create-avro-file-from-avsc-using-maven] Ich habe alle möglichen Dinge ...
Avro vs. Parkett
Ich plane, für mein Hadoop-Projekt eines der Hadoop-Dateiformate zu verwenden. ICHverstehe Parkett ist effizient für spaltenbasierte Abfragen und Avro für den vollständigen Scan oder wenn wir alle Säulendaten benötigen! Bevor ich fortfahre und ...
Cloudera 5.4.2: Avro-Blockgröße ist ungültig oder zu groß, wenn Flume- und Twitter-Streaming verwendet wird
Es gibt ein winziges Problem, wenn ich Cloudera 5.4.2 versuche. Basis auf diesem Artikel Apache Flume - Abrufen von ...
Wie kann ich Map <String, Objekt> in Java oder Scala aus einer Parkettdatei lesen und in eine Parkettdatei schreiben?
Suchen Sie nach einem kurzen Beispiel zum Lesen und Schreiben vonMap<String, Object> von / nach Parkettdatei in Java oder Scala? Hier ist die erwartete Struktur mitcom.fasterxml.jackson.databind.ObjectMapper als Serializer in Java (d. h. auf der ...
Wie definiere ich ein AVRO-Schema für ein komplexes JSON-Dokument?
Ich habe ein JSON-Dokument, das ich in Avro konvertieren möchte, und benötige ein Schema, das für diesen Zweck angegeben wird. Hier ist das JSON-Dokument, für das ich das Avro-Schema definieren möchte: { "uid": 29153333, "somefield": ...
MRUnit mit Avro NullPointerException in der Serialisierung
Ich versuche, einen Hadoop .mapreduce Avro-Auftrag mit MRUnit zu testen. Ich erhalte eine NullPointerException (siehe unten). Ich habe einen Teil des POM und...
Twitter-Avro-Daten können nicht korrekt in die Hive-Tabelle geladen werden
Brauche deine Hilfe Ich versuche eine triviale Übung, die Daten von Twitter abzurufen und sie dann zur Analyse in Hive zu laden. Obwohl ich in der Lage bin, Daten mit Hilfe von Flume (unter Verwendung von Twitter 1% Firehose Source) in HDFS zu ...