Gibt es eine Möglichkeit, die Ausgabe von Dataproc Spark-Jobs an die Google Cloud-Protokollierung zu senden? Wie in den Dataproc-Dokumenten erklärt Die Ausgabe des Job-Treibers (des Masters für einen Spark-Job) ist in der Konsole unter Dataproc-> Jobs verfügbar. Es gibt zwei Gründe, warum ich die Protokolle auch in der Cloud-Protokollierung haben möchte:

Ich möchte die Protokolle der Testamentsvollstrecker sehen. Häufig wird im Master-Protokoll ohne weitere Details die Meldung "Executor lost" (Executor verloren) angezeigt, und es wäre sehr nützlich, wenn Sie weitere Informationen über die Aktivitäten des Executors hätten.Cloud Logging hat nette Filterung und Suche

Die einzige Ausgabe von Dataproc, die derzeit in Cloud Logging angezeigt wird, sind Protokollelemente von yarn-yarn-nodemanager- * und container _ *. Stderr. Die Ausgabe meines Anwendungscodes wird in Dataproc-> Jobs, aber nicht in Cloud Logging angezeigt. Es handelt sich nur um die Ausgabe des Spark-Masters, nicht um die Ausführenden.