Resultados de la búsqueda a petición "google-cloud-dataflow"
Cómo obtener el nombre de archivo cuando se usa la coincidencia de patrón de archivo en google-cloud-dataflow
¿Alguien sabe cómo obtener Filename cuando se usa la coincidencia de patrón de archivo en google-cloud-dataflow? Soy nuevo para usar el flujo de datos. Cómo obtener el nombre de archivo cuando se usa el archivo patten match, de esta ...
Escribir resultados de la tubería de flujo de datos de Google en múltiples sumideros
Me gustaría escribir los resultados del flujo de datos de Google en múltiples sumideros. Como, quiero escribir el resultado usando TextIO en Google Cloud Storage, así como escribir los resultados como una tabla en BigQuery. ¿Cómo puedo hacer eso?
Activación de la canalización de flujo de datos en la nube desde la función de nube: la función agota el tiempo de espera
Estoy tratando de activar una tubería de flujo de datos desde una función de nube que se activa al cargar un nuevo archivo en un depósito de GCS. Cuando subo un archivo, la función Cloud se activa correctamente pero se agota el tiempo de espera ...
¿Cómo escribo en BigQuery un esquema calculado durante la ejecución de la misma tubería de flujo de datos?
Mi escenario es una variación del discutido aquí:¿Cómo escribo en BigQuery usando un esquema calculado durante la ejecución de ...
detectClassPathResourcesToStage: no se puede convertir la URL
Cuando ejecuté el jar en el GCE, tenía el siguiente error: java -jar mySimple.jar --project = myProjcet Aug 13, 2015 1:22:26 AM com.google.cloud.dataflow.sdk.runners.DataflowPipelineRunner detectClassPathResourcesToStage SEVERE: Unable to ...
Configuración de codificadores personalizados y manejo de tipos parametrizados
Tengo dos preguntas relacionadas con los problemas del codificador que estoy enfrentando con mi flujo de datos. ¿Cómo hago para configurar un codificador para mis tipos de datos personalizados? La clase consta de solo tres elementos: dos dobles ...
Cómo crear grupos de elementos N desde una PCollection Apache Beam Python
Estoy tratando de lograr algo como esto:Batch PCollection en Beam / Dataflow [https://stackoverflow.com/questions/44348085/batch-pcollection-in-beam-dataflow] La respuesta en el enlace anterior está en Java, mientras que el lenguaje con el que ...
Perfiles de memoria en Google Cloud Dataflow
¿Cuál sería la mejor manera de depurar problemas de memoria de un trabajo de flujo de datos? Mi trabajo estaba fallando con un error GC OOM, pero cuando lo perfilo localmente no puedo reproducir los escenarios exactos y los volúmenes de ...
¿Cuál es la latencia de datos de registro de transmisión entre AWS y los servicios en la nube de Google?
¿Alguien ha tenido experiencia con: ¿Enviar datos de registro transmitidos / micro-lotes de Amazon a BigQuery para procesar y puede arrojar luz sobre cualquier problema de latencia?Envío de registros (micro lotes) de Google DataFlow a Amazon ...
Escribir la salida de una tubería de flujo de datos en un destino particionado
Tenemos una sola fuente de eventos de transmisión con miles de eventos por segundo, todos estos eventos están marcados con una identificación que identifica a cuál de nuestras decenas de miles de clientes pertenece el evento. Nos gustaría ...