Meine Jobs hängen oft mit dieser Art von Nachricht:

14/09/01 00:32:18 INFO spark.MapOutputTrackerMasterActor: Asked to send map output locations for shuffle 0 to spark@*:37619

Wäre toll, wenn jemand erklären könnte, was Spark macht, wenn er diese Nachricht ausspuckt. Was bedeutet diese Nachricht? Was könnte der Benutzer falsch machen, um dies zu verursachen? Welche konfigurierbaren Elemente sollten optimiert werden?

Es ist wirklich schwer zu debuggen, weil es keine OOM gibt, es gibt keine ST, es sitzt und sitzt und sitzt.

Dies ist ein Problem von Spark, das mindestens 1.0.0 zurückliegt und mit Spark 1.5.0 noch nicht abgeschlossen ist.