Есть ли способ, чтобы выходные данные заданий Dataproc Spark отправлялись в логи Google Cloud?Как объяснено в Dataproc docs выходной сигнал от драйвера задания (мастер для задания Spark) доступен в Dataproc-> Jobs на консоли. Есть две причины, по которым я хотел бы иметь журналы в Cloud Logging:

Я хотел бы видеть журналы от исполнителей. Часто в главном журнале будет указано «потерян исполнитель» без каких-либо дополнительных подробностей, и было бы очень полезно получить дополнительную информацию о том, что задумал исполнитель.Облачная регистрация имеет хорошую фильтрацию и поиск

В настоящее время единственным выходом из Dataproc, который отображается в Cloud Logging, являются элементы журнала из yarn-yarn-nodemanager- * и контейнера _ *. Stderr. Вывод кода моего приложения показан в Dataproc-> Jobs, но не в Cloud Logging, и это только вывод мастера Spark, а не исполнителей.