Приложение Spark убивает исполнителя
Я запускаю спарк кластер в автономном режиме и приложение, использующее спарк-подчинение. В разделе сценического интерфейса spark I я обнаружил этап исполнения с большим временем выполнения (> 10 часов, когда обычное время ~ 30 секунд). Этап имеет много неудачных задач с ошибкойResubmitted (resubmitted due to lost executor), Есть исполнитель с адресомCANNOT FIND ADDRESS вAggregated Metrics by Executor раздел на странице этапа. Спарк пытается повторить эту задачу бесконечно. Если я завершу этот этап (мое приложение автоматически перезапустит незавершенные задания), все продолжит работать хорошо.
Также я нашел несколько странных записей в журналах искры (в то же время, что и запуск этапа).
Мастер:
16/11/19 19:04:32 INFO Master: Application app-20161109161724-0045 requests to kill executors: 0
16/11/19 19:04:36 INFO Master: Launching executor app-20161109161724-0045/1 on worker worker-20161108150133
16/11/19 19:05:03 WARN Master: Got status update for unknown executor app-20161109161724-0045/0
16/11/25 10:05:46 INFO Master: Application app-20161109161724-0045 requests to kill executors: 1
16/11/25 10:05:48 INFO Master: Launching executor app-20161109161724-0045/2 on worker worker-20161108150133
16/11/25 10:06:14 WARN Master: Got status update for unknown executor app-20161109161724-0045/1
рабочий:
16/11/25 10:06:05 INFO Worker: Asked to kill executor app-20161109161724-0045/1
16/11/25 10:06:08 INFO ExecutorRunner: Runner thread for executor app-20161109161724-0045/1 interrupted
16/11/25 10:06:08 INFO ExecutorRunner: Killing process!
16/11/25 10:06:13 INFO Worker: Executor app-20161109161724-0045/1 finished with state KILLED exitStatus 137
16/11/25 10:06:14 INFO Worker: Asked to launch executor app-20161109161724-0045/2 for app.jar
16/11/25 10:06:17 INFO SecurityManager: Changing view acls to: spark
16/11/25 10:06:17 INFO SecurityManager: Changing modify acls to: spark
16/11/25 10:06:17 INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(spark); users with modify permissions: Set(spark)
Нет проблем с сетевыми подключениями, потому что рабочий, мастер (журналы выше), драйвер работают на той же машине.
Spark версия 1.6.1