Suchergebnisse für Anfrage "partitioning"
Handhabung sehr großer Datenmengen mit MySQL
Tut mir leid für den langen Beitrag! Ich habe eine Datenbank mit ~ 30 Tabellen (InnoDB-Engine). Nur zwei dieser Tabellen, nämlich "transaction" und "shift", sind ziemlich groß (die erste hat 1,5 Millionen Zeilen und shift 23.000 Zeilen). Jetzt ...
Bestimmen der optimalen Anzahl von Spark-Partitionen basierend auf Worker, Cores und DataFrame-Größe
In Spark-Land gibt es mehrere ähnliche, aber unterschiedliche Konzepte, wie die Arbeit auf verschiedene Knoten verteilt und gleichzeitig ausgeführt wird. Im Einzelnen gibt es: Der Spark-Treiberknoten sparkDriverCount) Die Anzahl der ...
Partition MySQL-Tabelle nach Spaltenwert
Ich habe eine MySQL-Tabelle mit 20 Millionen Zeilen. Ich möchte partitionieren, um die Geschwindigkeit zu steigern. Die Tabelle hat folgendes Format: column column column sector data data data Capital Goods data data data Transportation data ...
Erstellen mehrerer Partitionen auf USB mit C #
Iam versucht, mit DeviceIOControl mehrere Partitionen in USB zu erstellen. Es wird immer nur eine Partition erstellt. Hier ist mein Quellcode [DllImport("kernel32.dll", SetLastError = true)] static extern IntPtr CreateFile(string lpFileName, ...
Eine Liste von Zahlen in n Blöcke aufteilen, sodass die Blöcke (fast) gleiche Summen haben und die ursprüngliche Reihenfolge beibehalten
Dies ist nicht das Standardproblem bei der Partitionierung, da ich die Reihenfolge der Elemente in der Liste beibehalten muss. Also zum Beispiel, wenn ich eine Liste habe [1, 6, 2, 3, 4, 1, 7, 6, 4]und ich möchte zwei Stücke, dann sollte der ...
Spark Streaming: Wie kann ich meinem DStream weitere Partitionen hinzufügen?
Ich habe eine Spark-Streaming-App, die so aussieht: val message = KafkaUtils.createStream(...).map(_._2) message.foreachRDD( rdd => { if (!rdd.isEmpty){ val kafkaDF = sqlContext.read.json(rdd) kafkaDF.foreachPartition( i =>{ createConnection() ...
Default Partitioning Scheme in Spark
Wenn ich den folgenden Befehl ausführe: scala> val rdd = sc.parallelize(List((1,2),(3,4),(3,6)),4).partitionBy(new HashPartitioner(10)).persist() rdd: org.apache.spark.rdd.RDD[(Int, Int)] = ShuffledRDD[10] at partitionBy at <console>:22 scala> ...
Wie partitioniere ich ein Array von Ganzzahlen so, dass das Maximum der Summe jeder Partition minimiert wird?
Die Eingaben sind ein Array A mit positiven oder Null-Ganzzahlen und eine andere Ganzzahl K. Wir sollten A in K Blöcke aufeinanderfolgender Elemente unterteilen (mit "Unterteilen" meine ich, dass jedes Element von A zu einem Block gehört und ...
Wie partitioniere ich eine Tabelle nach Monat ("Beide" JAHR & MONAT) und erstelle automatisch monatliche Partitionen?
Ich versuche, eine Tabelle nach beiden zu partitionierenJah undMona. Die Spalte, durch die ich partitionieren werde, ist eine Spalte vom Datetime-Typ mit einem ISO-Format ('20150110', 20150202 'usw.). Zum Beispiel habe ich Verkaufsdaten für ...
Hive 1.1.0 Ändern des Tabellenpartitionstyps von int in string
Ich habe eine Tabelle mit einer Partition vom Typ int, die ich aber in einen String konvertieren möchte. Allerdings kann ich nicht herausfinden, wie das geht. Die Tabellenbeschreibung lautet: Col1 timestamp Col2 string Col3 string Col4 string ...