Suchergebnisse für Anfrage "hadoop"
Hauptklasse org.apache.hadoop.hdfs.server.namenode.Namenode konnte nicht gefunden oder geladen werden
Ich weiß, dass dies schon einmal gefragt wurde, aber ich konnte die Lösung nicht herausfinden. Ich erhalte die folgende Fehlermeldung, wenn ich versuche zu rennenhdfs name node -format: Hauptklasse org.apache.hadoop.hdfs.server.namenode.Namenode ...
Ist die Ausgabe der Kartenphase des Mapreduce-Jobs immer sortiert?
Ich bin ein bisschen verwirrt mit der Ausgabe, die ich von Mapper bekomme. Wenn ich zum Beispiel ein einfaches Wordcount-Programm mit folgendem Eingabetext ausführe: hello world Hadoop programming mapreduce wordcount lets see if this ...
Wie verwende ich hbase mit Spring Boot unter Verwendung von Java anstelle von XML?
Ich habe Spring Boot Hadoop und möchte das Spring HbaseTemplate nutzen. Mein Problem ist, dass die Dokumentation nur Informationen über die "xml" -Methode der Konfiguration und Einrichtung enthält. Wie und wo definiere ich meine Konfiguration ...
Feuern Sie das Verständnis für das Garnkonzept an
Ich versuche zu verstehen, wie Funken auf YARN Cluster / Client ausgeführt wird. Ich habe die folgende Frage im Kopf. Ist es notwendig, dass an allen Knoten im Garncluster ein Funke installiert ist? Ich denke, es sollte, weil Worker-Knoten im ...
Alle Dateien von HDFS rekursiv in spark java api lesen
Ich verwende spark, um Daten aller Dateien von HDFS in einer einzelnen RDD aus einem Verzeichnis und seinen Unterverzeichnissen zu lesen. Ich konnte keine effiziente Methode finden, um das zu tun. Also habe ich versucht, einen benutzerdefinierten ...
So verbinden Sie zwei Tabellen in HIVE.
Ich habe zwei Tabellen A und B, die beide die folgende Struktur haben. // Table A Name Age actualdate no // Table B City sdate edate idIch möchte alle Felder von A und B mit JOIN erhalten, wobei id = no und sdate <= actualdate und edate> = ...
Hadoop kann keine Verbindung zu Google Cloud Storage herstellen
Ich versuche, Hadoop, das auf Google Cloud VM ausgeführt wird, mit Google Cloud Storage zu verbinden. Ich habe Die Datei core-site.xml wurde so geändert, dass sie die Eigenschaften von fs.gs.impl und fs.AbstractFileSystem.gs.impl ...
Hadoop Map Reduce eine Textdatei lesen
Ich versuche, ein MapReduce-Programm zu schreiben, das eine Eingabedatei lesen und die Ausgabe in eine andere Textdatei schreiben kann. Ich plane, die BufferedReader-Klasse dafür zu verwenden. Aber ich weiß nicht genau, wie ich es in einem ...
Nur Spaltennamen aus der Hive-Tabelle holen
Ich weiß, dass Sie über den folgenden Trick in hive Spaltennamen aus einer Tabelle abrufen können: hive> set hive.cli.print.header=true; hive> select * from tablename;Ist es auch möglich,gerad die Spaltennamen aus der Tabelle holen? Ich mag es ...
Spark SQL kann das Schreiben von Parkettdaten mit einer großen Anzahl von Shards nicht abschließen.
Ich versuche, Apache Spark SQL zu verwenden, um JSON-Protokolldaten in S3 auch in Parquet-Dateien in S3 zu speichern. Mein Code ist im Grunde: import org.apache.spark._ val sqlContext = sql.SQLContext(sc) val data ...