Resultados de la búsqueda a petición "google-cloud-dataflow"
Unión compleja con flujo de datos de google
Soy un novato, tratando de entender cómo podríamos reescribir un proceso ETL por lotes en Google Dataflow. He leído algunos de los documentos, ejecuto algunos ejemplos. Estoy proponiendo que el nuevo proceso ETL sea impulsado por eventos ...
Escribir la salida de una tubería de flujo de datos en un destino particionado
Tenemos una sola fuente de eventos de transmisión con miles de eventos por segundo, todos estos eventos están marcados con una identificación que identifica a cuál de nuestras decenas de miles de clientes pertenece el evento. Nos gustaría ...
Perfiles de memoria en Google Cloud Dataflow
¿Cuál sería la mejor manera de depurar problemas de memoria de un trabajo de flujo de datos? Mi trabajo estaba fallando con un error GC OOM, pero cuando lo perfilo localmente no puedo reproducir los escenarios exactos y los volúmenes de ...
¿Cuál es la latencia de datos de registro de transmisión entre AWS y los servicios en la nube de Google?
¿Alguien ha tenido experiencia con: ¿Enviar datos de registro transmitidos / micro-lotes de Amazon a BigQuery para procesar y puede arrojar luz sobre cualquier problema de latencia?Envío de registros (micro lotes) de Google DataFlow a Amazon ...
Configuración de codificadores personalizados y manejo de tipos parametrizados
Tengo dos preguntas relacionadas con los problemas del codificador que estoy enfrentando con mi flujo de datos. ¿Cómo hago para configurar un codificador para mis tipos de datos personalizados? La clase consta de solo tres elementos: dos dobles ...
detectClassPathResourcesToStage: no se puede convertir la URL
Cuando ejecuté el jar en el GCE, tenía el siguiente error: java -jar mySimple.jar --project = myProjcet Aug 13, 2015 1:22:26 AM com.google.cloud.dataflow.sdk.runners.DataflowPipelineRunner detectClassPathResourcesToStage SEVERE: Unable to ...
¿Cómo escribo en BigQuery un esquema calculado durante la ejecución de la misma tubería de flujo de datos?
Mi escenario es una variación del discutido aquí:¿Cómo escribo en BigQuery usando un esquema calculado durante la ejecución de ...
Escribir resultados de la tubería de flujo de datos de Google en múltiples sumideros
Me gustaría escribir los resultados del flujo de datos de Google en múltiples sumideros. Como, quiero escribir el resultado usando TextIO en Google Cloud Storage, así como escribir los resultados como una tabla en BigQuery. ¿Cómo puedo hacer eso?
Cómo obtener el nombre de archivo cuando se usa la coincidencia de patrón de archivo en google-cloud-dataflow
¿Alguien sabe cómo obtener Filename cuando se usa la coincidencia de patrón de archivo en google-cloud-dataflow? Soy nuevo para usar el flujo de datos. Cómo obtener el nombre de archivo cuando se usa el archivo patten match, de esta ...
Omitir filas de encabezado: ¿es posible con Cloud DataFlow?
Creé un Pipeline, que lee de un archivo en GCS, lo transforma y finalmente escribe en una tabla BQ. El archivo contiene una fila de encabezado (campos). ¿Hay alguna forma de establecer programáticamente el "número de filas de encabezado para ...