Suchergebnisse für Anfrage "hadoop"

10 die antwort

Hauptklasse org.apache.hadoop.hdfs.server.namenode.Namenode konnte nicht gefunden oder geladen werden

Ich weiß, dass dies schon einmal gefragt wurde, aber ich konnte die Lösung nicht herausfinden. Ich erhalte die folgende Fehlermeldung, wenn ich versuche zu rennenhdfs name node -format: Hauptklasse org.apache.hadoop.hdfs.server.namenode.Namenode ...

5 die antwort

Ist die Ausgabe der Kartenphase des Mapreduce-Jobs immer sortiert?

Ich bin ein bisschen verwirrt mit der Ausgabe, die ich von Mapper bekomme. Wenn ich zum Beispiel ein einfaches Wordcount-Programm mit folgendem Eingabetext ausführe: hello world Hadoop programming mapreduce wordcount lets see if this ...

5 die antwort

Wie verwende ich hbase mit Spring Boot unter Verwendung von Java anstelle von XML?

Ich habe Spring Boot Hadoop und möchte das Spring HbaseTemplate nutzen. Mein Problem ist, dass die Dokumentation nur Informationen über die "xml" -Methode der Konfiguration und Einrichtung enthält. Wie und wo definiere ich meine Konfiguration ...

TOP-Veröffentlichungen

3 die antwort

Feuern Sie das Verständnis für das Garnkonzept an

Ich versuche zu verstehen, wie Funken auf YARN Cluster / Client ausgeführt wird. Ich habe die folgende Frage im Kopf. Ist es notwendig, dass an allen Knoten im Garncluster ein Funke installiert ist? Ich denke, es sollte, weil Worker-Knoten im ...

3 die antwort

Alle Dateien von HDFS rekursiv in spark java api lesen

Ich verwende spark, um Daten aller Dateien von HDFS in einer einzelnen RDD aus einem Verzeichnis und seinen Unterverzeichnissen zu lesen. Ich konnte keine effiziente Methode finden, um das zu tun. Also habe ich versucht, einen benutzerdefinierten ...

1 die antwort

So verbinden Sie zwei Tabellen in HIVE.

Ich habe zwei Tabellen A und B, die beide die folgende Struktur haben. // Table A Name Age actualdate no // Table B City sdate edate idIch möchte alle Felder von A und B mit JOIN erhalten, wobei id = no und sdate <= actualdate und edate> = ...

3 die antwort

Hadoop kann keine Verbindung zu Google Cloud Storage herstellen

Ich versuche, Hadoop, das auf Google Cloud VM ausgeführt wird, mit Google Cloud Storage zu verbinden. Ich habe Die Datei core-site.xml wurde so geändert, dass sie die Eigenschaften von fs.gs.impl und fs.AbstractFileSystem.gs.impl ...

1 die antwort

Hadoop Map Reduce eine Textdatei lesen

Ich versuche, ein MapReduce-Programm zu schreiben, das eine Eingabedatei lesen und die Ausgabe in eine andere Textdatei schreiben kann. Ich plane, die BufferedReader-Klasse dafür zu verwenden. Aber ich weiß nicht genau, wie ich es in einem ...

3 die antwort

Nur Spaltennamen aus der Hive-Tabelle holen

Ich weiß, dass Sie über den folgenden Trick in hive Spaltennamen aus einer Tabelle abrufen können: hive> set hive.cli.print.header=true; hive> select * from tablename;Ist es auch möglich,gerad die Spaltennamen aus der Tabelle holen? Ich mag es ...

1 die antwort

Spark SQL kann das Schreiben von Parkettdaten mit einer großen Anzahl von Shards nicht abschließen.

Ich versuche, Apache Spark SQL zu verwenden, um JSON-Protokolldaten in S3 auch in Parquet-Dateien in S3 zu speichern. Mein Code ist im Grunde: import org.apache.spark._ val sqlContext = sql.SQLContext(sc) val data ...