Suchergebnisse für Anfrage "hadoop"
Hadoop unter Windows. YARN startet nicht mit java.lang.UnsatisfiedLinkError
Ich habe Hadoop unter Windows Hadoop-2.7.0 installiert / konfiguriert Ich konnte den Ausführungsbefehl "sbin \ start-dfs" erfolgreich starten. DataNode und NameNode gestartet. Ich könnte ein Verzeichnis erstellen, eine Datei in das Hadoop-System ...
Voraussetzungen für die Konvertierung von Spark-Datenrahmen in Pandas / R-Datenrahmen
Ich starte Spark auf Hadoops YARN. Wie funktioniert diese Konvertierung? Findet ein collect () vor der Konvertierung statt? Auch muss ich Python und R auf jedem Slave-Knoten installieren, damit die Konvertierung funktioniert? Ich habe Mühe, ...
Unterschied zwischen Application Manager und Application Master in YARN?
Ich habe verstanden, wie MRv1 funktioniert. Jetzt versuche ich, MRv2 zu verstehen. Was ist der Unterschied zwischen Application Manager und Application Master in YARN?
Permission verweigert (publickey, gssapi-keyex, gssapi-with-mic, Passwort) während der Installation von ambari hadoop
Ich versuche, einen Hadoop-Cluster mit ambari bereitzustellen, aber wenn ich die Hostnamen mit FQDN auswähle und mit der Konfiguration fortfahre, erhalte ich den Fehler "Berechtigung verweigert" für ssh. STEPS: 1. rsa-Schlüssel mit ssh-keygen ...
Lesen Sie mit Spark @ mehrere Dateien aus einem Verzeichn
Ich versuche das zu lösenProble [https://www.kaggle.com/c/axa-driver-telematics-analysis] at kaggle using spark: die Hierarchie der Eingabe ist wie folgt: drivers/{driver_id}/trip#.csv e.g., drivers/1/1.csv drivers/1/2.csv drivers/2/1.csvIch ...
spark + hadoop Datenlokalität
Ich habe eine RDD mit Dateinamen, also eine RDD [String]. Ich bekomme das durch Parallelisieren einer Liste von Dateinamen (von Dateien in hdfs). Nun ordne ich diesen Rdd zu und mein Code öffnet einen Hadoop-Stream mit FileSystem.open (Pfad). ...
mische mehrere kleine Dateien in ein paar größeren Dateien in Spark
Ich benutze Hive durch Spark. Ich habe eine Abfrage In partitionierte Tabelle einfügen in meinem Spark-Code. Die Eingabedaten sind in 200 + gb. Wenn Spark in eine partitionierte Tabelle schreibt, werden sehr kleine Dateien (Dateien in ...
R: CSV aus serialisierten Objekten erstellen
Ich versuche, eine Liste zu erstellen, jedes Element zu serialisieren und es mit einem Schlüssel in eine CSV-Datei zu kopieren, um eine Textdatei mit Schlüssel / Wert-Paaren zu erstellen. Letztendlich wird dies durch Hadoop-Streaming laufen, ...
Speichern Spark-Datenframe als dynamisch partitionierte Tabelle in Hive
Ich habe eine Beispielanwendung, die arbeitet, um aus CSV-Dateien in einen Datenrahmen zu lesen. Der Datenrahmen kann mit der Methode @ im Parkettformat in einer Hive-Tabelle gespeichert werdedf.saveAsTable(tablename,mode). Der obige Code ...
Hadoop auf Windows-Erstellungs- / Installationsfehler
Ich versuche zu installierenApache Hadoop 2.7.1 [https://hadoop.apache.org/] unter Windows x64 (8.1 und Server 2012 R2), aber ich scheitere am Ziel: [INFO] Apache Hadoop Common ............................... FAILURE [ 37.925 s] In den ...