Suchergebnisse für Anfrage "partitioning"
Umgang mit Fremdschlüsseln während der Partitionierung
Ich arbeite am Flottenmanagement. Ich habe eine große Anzahl von Schreibvorgängen in einer Standorttabelle mit folgenden SpaltenDatumZeitFahrzeug Nr.langeBre...
Wie funktioniert die Partitionierung in Spark?
Ich versuche zu verstehen, wie in Apache Spark partitioniert wird. Könnt ihr bitte helfen? Hier ist das Szenario: ein Master und zwei Knoten mit je 1 Kerneine Dateicount.txt von 10 MB in der GrößeWie viele Partitionen werden von den folgenden ...
MySQL-Tabellenpartition basierend auf der letzten Ziffer einer Spalte / ID
Ich möchte Partitionen basierend auf der letzten Ziffer der Mitarbeiter-ID erstellen, d. H all ids ending with 0 go to first partition, ending with 1 go to second partition and so on..Auf diese Weise möchte ich 10 Partitionen erstellen. Die ...
In Apache Spark, warum behält RDD.union den Partitioner nicht bei?
Wie jeder weiß, haben Partitionierer in Spark enorme Auswirkungen auf die Leistung von "Wide" -Operationen, daher werden sie normalerweise in Operationen angepasst. Ich habe mit folgendem Code experimentiert: val rdd1 = sc.parallelize(1 to ...
Optimieren einer Partitionsfunktion
Hier ist der Code in Python: # function for pentagonal numbers def pent (n): return int((0.5*n)*((3*n)-1)) # function for generalized pentagonal numbers def gen_pent (n): return pent(int(((-1)**(n+1))*(round((n+1)/2)))) # array for storing ...
Wie partitioniere ich eine Tabelle nach Monat ("Beide" JAHR & MONAT) und erstelle automatisch monatliche Partitionen?
Ich versuche, eine Tabelle nach beiden zu partitionierenJah undMona. Die Spalte, durch die ich partitionieren werde, ist eine Spalte vom Datetime-Typ mit einem ISO-Format ('20150110', 20150202 'usw.). Zum Beispiel habe ich Verkaufsdaten für ...
Wie partitioniere ich ein Array von Ganzzahlen so, dass das Maximum der Summe jeder Partition minimiert wird?
Die Eingaben sind ein Array A mit positiven oder Null-Ganzzahlen und eine andere Ganzzahl K. Wir sollten A in K Blöcke aufeinanderfolgender Elemente unterteilen (mit "Unterteilen" meine ich, dass jedes Element von A zu einem Block gehört und ...
Default Partitioning Scheme in Spark
Wenn ich den folgenden Befehl ausführe: scala> val rdd = sc.parallelize(List((1,2),(3,4),(3,6)),4).partitionBy(new HashPartitioner(10)).persist() rdd: org.apache.spark.rdd.RDD[(Int, Int)] = ShuffledRDD[10] at partitionBy at <console>:22 scala> ...
Spark Streaming: Wie kann ich meinem DStream weitere Partitionen hinzufügen?
Ich habe eine Spark-Streaming-App, die so aussieht: val message = KafkaUtils.createStream(...).map(_._2) message.foreachRDD( rdd => { if (!rdd.isEmpty){ val kafkaDF = sqlContext.read.json(rdd) kafkaDF.foreachPartition( i =>{ createConnection() ...