Suchergebnisse für Anfrage "hadoop"
beeline kann keine Verbindung zu hiveserver2 herstellen
Ich habe eine CDH 5.3-Instanz. Ich starte den Hive-Server2, indem ich zuerst den Hive-Metastore und dann den Hive-Server von der Kommandozeile aus starte. Danach verbinde ich mich mit beeline mit meinem hive-server2, aber anscheinend ist ...
Wie kann ich mit Java ein neues Verzeichnis in hdfs erstellen?
public static void main(String[] args) throws IOException, URISyntaxException {Konfiguration config = neue Konfiguration (); config.set("fs.default.name","hdfs://127.0.0.1:50070/dfshealth.jsp"); FileSystem dfs = FileSystem.get(config); String ...
Was ist der beste Weg, um mit Hadoop eindeutige Besucher zu zählen?
hey all, fange gerade erst mit hadoop an und sei gespannt, was der beste Weg in Mapreduce wäre, eindeutige Besucher zu zählen, wenn deine Logfiles so aussehen würden ... DATE siteID action username 05-05-2010 siteA pageview jim 05-05-2010 ...
MapReduce Output ArrayWritable
Ich versuche, eine Ausgabe von ArrayWritable in einer einfachen MapReduce-Task zu erhalten. Ich habe ein paar Fragen mit einem ähnlichen Problem gefunden, kann das Problem jedoch nicht in meinem eigenen Code lösen. Also freue ich mich auf eure ...
Avro vs. Parkett
Ich plane, für mein Hadoop-Projekt eines der Hadoop-Dateiformate zu verwenden. ICHverstehe Parkett ist effizient für spaltenbasierte Abfragen und Avro für den vollständigen Scan oder wenn wir alle Säulendaten benötigen! Bevor ich fortfahre und ...
Key des Objekttyps im Hadoop-Mapper
Neu zu tun und zu versuchen, den mapreduce wordcount-Beispielcode von @ zu verstehHie [http://hadoop.apache.org/docs/current/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html] . Der Mapper aus der Dokumentation ist ...
Spark Streaming: HDFS
Ich kann meinen Spark-Job nicht dazu bringen, "alte" Dateien von HDFS zu streamen.Wenn mein Spark-Job aus irgendeinem Grund nicht ausgeführt wird (z. B. Demo, Bereitstellung), das Schreiben / Verschieben in das HDFS-Verzeichnis jedoch ...
er Befehl @hdfs ist in hadoop @ veralte
Wie ich unten verfahren bin: http: ...
Getting 'flume.conf auf Änderungen überprüfen' in einer Schleife
Ich verwende Apache Flume 1.4.0, um Protokolldateien (auth.log) zu sammeln und in HDFS (Hadoop 2.6.0) zu speichern. Der verwendete Befehl lautet: bin/flume-ng agent --conf ./conf/ -f flume.conf -Dflume.root.logger=DEBUG,console -n agentDas ...
Wie überprüfe ich, ob ZooKeeper ausgeführt wird oder von der Eingabeaufforderung aus?
Ich habe ein paar Optionen zum Einrichten von Kafka erkundet und wusste, dass der Zookeeper betriebsbereit sein muss, um einen Kafka einzuleiten. Ich würde gerne wissen, wie ich das unten finden kann. 1) Hostname und Port für meine ...