Suchergebnisse für Anfrage "avro"
Hive-Tabelle erstellen, um Parkettdateien aus dem Parkett- / Avro-Schema zu lesen
Wir suchen nach einer Lösung, um eine externe Hive-Tabelle zum Lesen von Daten aus Parkettdateien nach einem Parkett- / Avro-Schema zu erstellen. auf andere Weise, wie man eine Hive-Tabelle aus einem Parkett- / Avro-Schema generiert? Vielen Dank :
Twitter-Avro-Daten können nicht korrekt in die Hive-Tabelle geladen werden
Brauche deine Hilfe Ich versuche eine triviale Übung, die Daten von Twitter abzurufen und sie dann zur Analyse in Hive zu laden. Obwohl ich in der Lage bin, Daten mit Hilfe von Flume (unter Verwendung von Twitter 1% Firehose Source) in HDFS zu ...
Concat Avro-Dateien mit avro-tools
Im Versuch, Avro-Dateien in einer großen Datei zusammenzuführen, ist das Problemconcat Befehl akzeptiert den Platzhalter @ nic hadoop jar avro-tools.jar concat /input/part* /output/bigfile.avroIch bekomme Exception im Thread "main" ...
Was sind die Vor- und Nachteile des Parkettformats im Vergleich zu anderen Formaten?
Eigenschaften von Apache Parkett sind: SelbstbeschreibendColumnar Format SprachunabhängigIm Vergleich zu Avro, Sequence Files, RC File etc. möchte ich einen Überblick über die Formate. Ich habe schon gelesen:Wie Impala mit Hadoop-Dateiformaten ...
Verwenden Sie das Schema, um AVRO-Nachrichten mit Spark in DataFrame @ zu konvertiere
Gibt es eine Möglichkeit, ein Schema zum Konvertieren von @ zu verwende avro [/questions/tagged/avro] Nachrichten von kafka [/questions/tagged/kafka] mitFunk [/questions/tagged/spark] zu dataframe [/questions/tagged/dataframe]? Die Schemadatei ...
KafkaAvroDeserializer gibt SpecificRecord nicht zurück, sondern GenericRecord
MyKafkaProducer kann @ verwendKafkaAvroSerializer, um Objekte zu meinem Thema zu serialisieren. Jedoch,KafkaConsumer.poll() kehrt deserialisiert zurückGenericRecord anstelle meiner serialisierten Klasse. ...
Cloudera 5.4.2: Avro-Blockgröße ist ungültig oder zu groß, wenn Flume- und Twitter-Streaming verwendet wird
Es gibt ein winziges Problem, wenn ich Cloudera 5.4.2 versuche. Basis auf diesem Artikel Apache Flume - Abrufen von ...
Spark Python Avro Kafka Deserialiser
Ich habe einen Kafka-Stream in einer Python-Spark-App erstellt und kann jeden Text analysieren, der durch ihn kommt. kafkaStream = KafkaUtils.createStream(ssc, zkQuorum, "spark-streaming-consumer", {topic: 1})Ich möchte dies ändern, um ...