¿Hay alguna manera de enviar el resultado de los trabajos de Dataproc Spark al registro de Google Cloud?Como se explica en los documentos de Dataproc la salida del controlador de trabajo (el maestro para un trabajo de Spark) está disponible en Dataproc-> Trabajos en la consola. Hay dos razones por las que me gustaría tener los registros en Cloud Logging también:

Me gustaría ver los registros de los ejecutores. A menudo, el registro maestro dice "ejecutor perdido" sin más detalles, y sería muy útil tener más información sobre lo que está haciendo el ejecutor.Cloud Logging tiene un buen filtrado y búsqueda

Actualmente, el único resultado de Dataproc que aparece en Cloud Logging son los elementos de registro de yarn-yarn-nodemanager- * y container _ *. Stderr. La salida de mi código de aplicación se muestra en Dataproc-> Trabajos pero no en Cloud Logging, y es solo la salida del maestro Spark, no los ejecutores.