Suchergebnisse für Anfrage "hadoop"
Wie kann ich Spark zwingen, Code auszuführen?
Wie kann ich Spark zwingen, einen Aufruf von map auszuführen, auch wenn er der Meinung ist, dass er aufgrund seiner verzögerten Auswertung nicht ausgeführt werden muss? Ich habe versucht, @ zu setzcache() mit dem Kartenaufruf, aber das reicht ...
Ausnahme im Thread "main" org.apache.hadoop.ipc.RemoteException: Server IPC Version 9 kann nicht mit Client Version 4 kommuniziere
Ich verwende Hadoop 2.7.0 und Java Oracle JDK 1.7.0_79 mit NetBeans IDE 8.0.2. Wenn ich versuche, mit Hadoop über die Java-Datei zu kommunizieren, wird die folgende Fehlermeldung angezeigt. Gibt es Abhängigkeiten? Oder wie kann ich diesen Fehler ...
Unterschied zwischen Funken Vektoren und Scala unveränderlichen Vektor?
Ich schreibe ein Projekt für Spark 1.4 in Scala und bin gerade dabei, meine anfänglichen Eingabedaten in @ umzuwandelspark.mllib.linalg.Vectors undscala.immutable.Vector, mit dem ich später in meinem Algorithmus arbeiten möchte. Könnte jemand ...
Mapreduce-Fehler: Fehler beim Einrichten des lokalen Verzeichnisses
Ich führe Mapreduce WordCount-Beispiel auf Hadoop aus, das auf Windows 8 installiert ist. Ich habe den folgenden Fehler erhalten. Es klingt wie ein Sicherheitserlaubnisproblem. Ich bin mir aber nicht ganz sicher. Ich habe der Datei yarn-site.xml ...
Hive 1.1.0 Ändern des Tabellenpartitionstyps von int in string
Ich habe eine Tabelle mit einer Partition vom Typ int, die ich aber in einen String konvertieren möchte. Allerdings kann ich nicht herausfinden, wie das geht. Die Tabellenbeschreibung lautet: Col1 timestamp Col2 string Col3 string Col4 string ...
Hadoop / Hive Collect_list ohne Wiederholung von Elementen
Auf der Grundlage der Post,Hive 0.12 - Collect_list [https://stackoverflow.com/questions/6445339/collect-set-in-hive-keep-duplicates] , Ich versuche, Java-Code zu finden, um eine UDAF-Datei zu implementieren, die diese oder ähnliche Funktionen ...
Finden des größten Werts für key
ch möchte das größte Land mit der größten Fläche herausfinde mein Datensatz ist wie folgt Afghanistan 648 Albania 29 Algeria 2388 Andorra 0 Austria 84 Bahrain 1 Bangladesh 143 Belgium 31 Benin 113 Bhutan 47 Brunei 6 Bulgaria 111 Burma ...
Wie kann PySpark im Debug-Modus aufgerufen werden?
Ich habe IntelliJ IDEA mit Apache Spark 1.4 eingerichtet. Ich möchte in der Lage sein, meinen Spark Python-Skripten Debug-Punkte hinzuzufügen, damit ich sie leicht debuggen kann. Ich starte gerade dieses Python-Bit, um den Funkenprozess zu ...
Hive - LIKE Operator
Ich kann nicht herausfinden, wie ich mit diesem Problem umgehe: Das sind meine Daten: Table1: Table2: BRAND PRODUCT SOLD Sony Sony ABCD 1233 Apple Sony adv 1233 Google Sony aaaa 1233 IBM Apple 123 1233 etc. Apple 345 1233 IBM 13123 1233Ist es ...
Setzen von Spark-Klassenpfaden auf EC2: spark.driver.extraClassPath und spark.executor.extraClassPath
Verringerung der Größe der Anwendungsdatei durch Bereitstellung von spark-classPath für Maven-Abhängigkeiten: Mein Cluster hat 3 ec2-Instanzen, auf denen Hadoop und Spark ausgeführt werden. Wenn ich JAR mit Maven-Abhängigkeiten erstelle, wird ...