Spark Indefinite Waiting con "Se le pide que envíe ubicaciones de salida del mapa para barajar"
Mis trabajos a menudo cuelgan con este tipo de mensaje:
14/09/01 00:32:18 INFO spark.MapOutputTrackerMasterActor: Asked to send map output locations for shuffle 0 to spark@*:37619
Sería genial si alguien pudiera explicar qué está haciendo Spark cuando escupe este mensaje. ¿Qué significa este mensaje? ¿Qué podría estar haciendo mal el usuario para causar esto? ¿Qué configurables se deben ajustar?
Es realmente difícil de depurar porque no es OOM, no da un ST, simplemente se sienta y se sienta y se sienta.
Este ha sido un problema de Spark al menos desde 1.0.0 y aún continúa con Spark 1.5.0