Suchergebnisse für Anfrage "hadoop"
Hadoop - namenode startet nicht
Ich versuche, Hadoop als Root-Benutzer auszuführen. Ich habe den Befehl namenode format ausgeführt
Standardanzahl der Reduzierungen
Wenn wir in Hadoop nicht die Anzahl der Reduzierungen festgelegt haben, wie viele Reduzierungen werden dann erstellt? Die Anzahl der Mapper ist abhängig von (Gesamtdatengröße) / (Eingabe-Split-Größe), Z.B. Wenn die Datengröße 1 TB und die ...
Issue beim Verbinden von Kafka von außen
Ich verwende hortonwork Sandbox für einen Kafka-Server, der versucht, Kafka von Eclipse mit Java-Code zu verbinden. Verwenden Sie diese Konfiguration, um eine Verbindung zum Produzenten herzustellen und die Nachricht @ zu ...
Wie kann PySpark im Debug-Modus aufgerufen werden?
Ich habe IntelliJ IDEA mit Apache Spark 1.4 eingerichtet. Ich möchte in der Lage sein, meinen Spark Python-Skripten Debug-Punkte hinzuzufügen, damit ich sie leicht debuggen kann. Ich starte gerade dieses Python-Bit, um den Funkenprozess zu ...
Version Inkompatibilität zwischen Spring Batch und Cloudera Hadoop
Ich habe das Spring Batch Word Count Programm ausprobiert und hatte ein Versionsproblem wie dieses: ERROR [org.springframework.batch.core.step.AbstractStep] - <Encountered an error executing the step> java.lang.IncompatibleClassChangeError: ...
namespace image und edit log
Von dem Buch " Hadoop Der endgültige Leitfaden ", unter dem ThemaNamenodes und Datanodes es wird erwähnt, dass: Der namenode verwaltet den Namespace des Dateisystems. Es verwaltet den Dateisystembaum und die Metadaten für alle Dateien und ...
Ressourcen / Dokumentation zur Funktionsweise des Failovers für den Spark-Treiber (und dessen YARN-Container) im Garn-Cluster-Modus
Ich versuche zu verstehen, ob der Spark-Treiber eine einzelne Fehlerquelle darstellt, wenn er im Cluster-Modus für Yarn bereitgestellt wird. Daher möchte ich die Innereien des Failover-Prozesses in Bezug auf den YARN-Container des Spark-Treibers ...
JSON-Array in Pig laden
Ich habe eine JSON-Datei mit dem folgenden Format [ { "id": 2, "createdBy": 0, "status": 0, "utcTime": "Oct 14, 2014 4:49:47 PM", "placeName": "21/F, Cunningham Main Rd, Sampangi Rama NagarBengaluruKarnatakaIndia", "longitude": 77.5983817, ...
Ist es möglich, Parkett direkt aus der Datei zu laden?
Wenn ich eine binäre Datendatei habe (diese kann in das CSV-Format konvertiert werden), gibt es eine Möglichkeit, Parketttabellen direkt daraus zu laden? In vielen Tutorials wird gezeigt, wie eine CSV-Datei in eine Texttabelle und anschließend ...
Verwendung von JSON-SerDe in Hive-Tabellen
Ich versuche es mit JSON-SerDe unter folgendem Linkhttp://code.google.com/p/hive-json-serde/wiki/GettingStarted.