Resultados de la búsqueda a petición "google-cloud-dataflow"
Forzar un panel / ventana vacío en la transmisión en Apache Beam
Estoy tratando de implementar una tubería y toma una secuencia de datos y cada minuto genera un Verdadero si hay algún elemento en el intervalo de minutos o Falso si no hay ninguno. El panel (con disparador de tiempo indefinido) o la ventana ...
Estado continuo en la tubería de Apache Beam
Estoy desarrollando una tubería de haz para el corredor de flujo de datos. Necesito la siguiente funcionalidad en mi caso de uso. Lea los eventos de entrada de los temas de Kafka. Cada valor de mensaje de Kafka deriva[userID, Event] par.Para ...
¿Qué significa el objeto de tipo '_UnwindowedValues' sin len ()?
Estoy usando Dataflow 0.5.5 Python. Se encontró con el siguiente error en un código muy simple: print(len(row_list))row_list es una lista Exactamente el mismo código, los mismos datos y la misma tubería funcionan perfectamente bien en ...
¿Cómo usar GCP Cloud SQL como fuente de flujo de datos y / o hundirse con Python?
¿Hay alguna guía disponible para usar Google Cloud SQL como fuente de lectura y / o receptor de flujo de datos? En elDocumentación de Apache Beam Python SDK 2.1.0 [https://beam.apache.org/documentation/sdks/pydoc/2.1.0/apache_beam.html]No hay un ...
Apache Beam Google Datastore ReadFromDatastore entidad protobuf
Estoy tratando de usar la API de apache beam del almacén de datos de Google para ReadFromDatastore p = beam.Pipeline(options=options) (p | 'Read from Datastore' >> ReadFromDatastore(gcloud_options.project, query) | 'reformat' ...
Realizar una acción después de que la tubería de flujo de datos haya procesado todos los datos
¿Es posible realizar una acción una vez que un trabajo de flujo de datos por lotes ha terminado de procesar todos los datos? Específicamente, me gustaría mover el archivo de texto que la tubería acaba de procesar a un contenedor GCS diferente. No ...
FTP a Google Storage
Algunos archivos se cargan a diario en un servidor FTP y necesito esos archivos en Google Cloud Storage. No quiero molestar a los usuarios que cargan los archivos para instalar ningún software adicional y simplemente dejar que sigan usando su ...
Batch PCollection en Beam / Dataflow
Tengo una PCollection en GCP Dataflow / Apache Beam. En lugar de procesarlo uno por uno, necesito combinar "por N". Algo comogrouped(N). Entonces, en caso de procesamiento acotado, se agrupará por 10 artículos en lote y el último lote con lo que ...
Procesamiento del pedido total de eventos por clave utilizando Apache Beam
Contexto del problemaEstoy tratando de generar un orden total (lineal) de elementos de evento por clave a partir de una secuencia en tiempo real donde el orden es el tiempo del evento (derivado de la carga útil del evento). Acercarse a, ...
Escribir diferentes valores en diferentes tablas de BigQuery en Apache Beam
Supongamos que tengo unPCollection<Foo> y quiero escribirlo en varias tablas de BigQuery, eligiendo una tabla potencialmente diferente para cadaFoo. ¿Cómo puedo hacer esto usando el Haz de Apache?BigQueryIO API?