Suchergebnisse für Anfrage "apache-spark"
Spark Kafka Streaming Issue
Ich benutze Maven Ich habe die folgenden Abhängigkeiten hinzugefügt <dependency> <!-- Spark dependency --> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming_2.10</artifactId> <version>1.1.0</version> </dependency> <dependency> ...
Warum schlägt der Spark Cassandra Connector mit NoHostAvailableException fehl?
Ich habe Probleme, Spark Cassandra Connector in Scala zum Laufen zu bringen. Ich benutze diese Versionen: Scala 2.10.4 spark-core 1.0.2 cassandra-thrift 2.1.0 (meine installierte Cassandra ist v2.1.0) cassandra-clientutil 2.1.0 ...
Spark: Nein. von Ausgabedateien
Ich habe ein Spark-Programm geschrieben, das die Funktionalität eines vorhandenen Map Reduce-Jobs nachahmt. Der MR-Job dauert jeden Tag ungefähr 50 Minuten, der Spark-Job jedoch nur 9 Minuten! Das ist großartig Als ich mir das ...
Spark Datastax Java API Select-Anweisungen
Ich verwende hier in diesem Github ein Tutorial, um mit einem Java-Maven-Projekt Funken auf Cassandra auszulösen:https: //github.com/datastax/spark-cassandra-connecto [https://github.com/datastax/spark-cassandra-connector]. Ich habe ...
Wie kann ich eine Elementposition in Spark's RDD erhalten?
Ich bin neu bei Apache Spark und weiß, dass die Kerndatenstruktur RDD ist. Jetzt schreibe ich einige Apps, die Positionsinformationen von Elementen benötigen. Beispielsweise muss nach der Konvertierung einer ArrayList in eine (Java) RDD für jede ...
Hinzufügen eines Headers vor der Textdatei beim Speichern in Spark
Ich habe einen Spark-Code, um eine CSV-Datei zu verarbeiten. Es verändert es. Ich möchte jetzt diese RDD als CSV-Datei speichern und einen Header hinzufügen. Jede Zeile dieses RDD ist bereits korrekt formatiert. Ich bin mir nicht sicher, wie ich ...
Wie konvertiere ich spark SchemaRDD in RDD meiner Fallklasse?
In den Spark-Dokumenten ist es klar, wie Parkettdateien aus @ erstellt werdeRDD Ihrer eigenen Fallklassen; (aus den Dokumenten) val people: RDD[Person] = ??? // An RDD of case class objects, from the previous example. // The RDD is implicitly ...
Apache Spark ALS Ergebnisse der kollaborativen Filterung. Sie machen keinen Sinn
Ich wollte Spark für die kollaborative Filterung mit MLlib ausprobieren, wie in diesem Tutorial ...
Wie implementiere ich die Deserialisierung in kafka consumer mit scala?
Ich habe die folgende Zeile im Code meines Kafka-Verbrauchers. val lines = KafkaUtils.createStream(ssc, zkQuorum, group, topicpMap).map(_._2) Wie deserialisiere ich diesen Stream "lines" in ein Originalobjekt? Die Serialisierbarkeit wurde im ...
Was sind die Spark-Transformationen, die ein Shuffle verursachen?
Ich habe Probleme, in der Spark-Dokumentation Operationen zu finden, die ein Shuffle verursachen, und Operationen, die dies nicht tun. Welche verursachen in dieser Liste ein Shuffle und welche nicht? Map und Filter nicht. Allerdings bin ich mir ...