Понимание результатов работы Spark Terminal на этапах [дубликаты]
На этот вопрос уже есть ответ:
Что означают цифры на индикаторе выполнения в спарк-оболочке? 2 ответаЯ новичок в Spark и пытаюсь понять вывод журнала его этапов на моем терминале. Я работаю с очень большим набором данных на моем локальном компьютере, и во время действий я вижу что-то вроде:
[Stage: 4 ==> (10 + 4) / 200]
Я понимаю, что этапы - это все операции, которые происходят с RDD, но как насчет чисел в конце? Они представляют задачи?
(10 + 4) / 200]
10
количество выполненных заданий?4
количество одновременных задач (т. е. количество ядер на моем компьютере?)200
общее количество заданий на этом этапе?