Resultados de la búsqueda a petición "google-cloud-dataflow"
Apache Beam Google Datastore ReadFromDatastore entidad protobuf
Estoy tratando de usar la API de apache beam del almacén de datos de Google para ReadFromDatastore p = beam.Pipeline(options=options) (p | 'Read from Datastore' >> ReadFromDatastore(gcloud_options.project, query) | 'reformat' ...
Marca de agua atascada
Estoy ingiriendo datos a través de pub / sub a una tubería de flujo de datos que se ejecuta en modo ilimitado. Los datos son básicamente coordenadas con marcas de tiempo capturadas desde dispositivos de seguimiento. Esos mensajes llegan en lotes, ...
Canalización de flujo de datos de Google con caché local de instancia + llamadas a la API REST externa
Queremos construir una tubería de Streaming de flujo de datos en la nube que ingiera eventos de Pubsub y realice múltiples operaciones similares a ETL en cada evento individual. Una de estas operaciones es que cada evento tiene unIdentificación ...
Escribir diferentes valores en diferentes tablas de BigQuery en Apache Beam
Supongamos que tengo unPCollection<Foo> y quiero escribirlo en varias tablas de BigQuery, eligiendo una tabla potencialmente diferente para cadaFoo. ¿Cómo puedo hacer esto usando el Haz de Apache?BigQueryIO API?
FTP a Google Storage
Algunos archivos se cargan a diario en un servidor FTP y necesito esos archivos en Google Cloud Storage. No quiero molestar a los usuarios que cargan los archivos para instalar ningún software adicional y simplemente dejar que sigan usando su ...
¿Qué significa el objeto de tipo '_UnwindowedValues' sin len ()?
Estoy usando Dataflow 0.5.5 Python. Se encontró con el siguiente error en un código muy simple: print(len(row_list))row_list es una lista Exactamente el mismo código, los mismos datos y la misma tubería funcionan perfectamente bien en ...
Google DataFlow no puede leer ni escribir en diferentes ubicaciones (Python SDK v0.5.5)
Estoy escribiendo una tubería DataFlow muy básica usando Python SDK v0.5.5. La canalización utiliza un BigQuerySource con una consulta pasada, que consulta las tablas BigQuery de conjuntos de datos que residen en la UE. Al ejecutar la ...
Lectura de JSON anidado en Google Dataflow / Apache Beam
Es posible leer archivos JSON sin anotar en Cloud Storage con Dataflow a través de: p.apply("read logfiles", TextIO.Read.from("gs://bucket/*").withCoder(TableRowJsonCoder.of()));Si solo quiero escribir esos registros con un filtrado mínimo en ...
¿Cuándo Dataflow reconoce un mensaje de elementos en lote de PubSubIO?
Ha habido unapregunta sobre este tema [https://stackoverflow.com/questions/36018920/using-google-cloud-dataflow-pubsubio-when-does-the-read-of-the-message-get-acknhttp://] , la respuesta decía "El reconocimiento se realizará una vez que el ...
Compile errores al encontrar símbolos como Pipeline, PCollection, PipelineOptions, etc.
A partir de hoy, obtengo un corte de compilación para el código existente que solía compilarse correctamente, debido a un error al ubicar muchas clases clave en el SDK de Dataflow para Java. Por ...