Resultados de la búsqueda a petición "google-cloud-dataflow"
Google DataFlow no puede leer ni escribir en diferentes ubicaciones (Python SDK v0.5.5)
Estoy escribiendo una tubería DataFlow muy básica usando Python SDK v0.5.5. La canalización utiliza un BigQuerySource con una consulta pasada, que consulta las tablas BigQuery de conjuntos de datos que residen en la UE. Al ejecutar la ...
¿Cómo usar GCP Cloud SQL como fuente de flujo de datos y / o hundirse con Python?
¿Hay alguna guía disponible para usar Google Cloud SQL como fuente de lectura y / o receptor de flujo de datos? En elDocumentación de Apache Beam Python SDK 2.1.0 [https://beam.apache.org/documentation/sdks/pydoc/2.1.0/apache_beam.html]No hay un ...
Cómo usar destinos de texto io de flujo de datos dinámicos en java
Hola, estoy muy confundido por la API de destinos de archivos dinámicos y no hay documentos, así que aquí estoy. La situación es que tengo una PCollection y contiene eventos que pertenecen a diferentes particiones. Quiero dividirlos y ...
Apache Beam Google Datastore ReadFromDatastore entidad protobuf
Estoy tratando de usar la API de apache beam del almacén de datos de Google para ReadFromDatastore p = beam.Pipeline(options=options) (p | 'Read from Datastore' >> ReadFromDatastore(gcloud_options.project, query) | 'reformat' ...
¿Se puede procesar la entrada del almacén de datos en la tubería de flujo de datos de Google en un lote de N entradas a la vez?
Estoy tratando de ejecutar un trabajo de canalización de flujo de datos que ejecutaría una función enN entradas a la vezdel almacén de datos. En mi caso, esta función está enviando un lote de 100 entradas a algún servicio REST como carga útil. ...
TextIO. Leer múltiples archivos de GCS usando el patrón {}
Intenté usar lo siguiente TextIO.Read.from("gs://xyz.abc/xxx_{2017-06-06,2017-06-06}.csv")Ese patrón no funcionó, como entiendo java.lang.IllegalStateException: Unable to find any files ...
Activación de la canalización de flujo de datos en la nube desde la función de nube: la función agota el tiempo de espera
Estoy tratando de activar una tubería de flujo de datos desde una función de nube que se activa al cargar un nuevo archivo en un depósito de GCS. Cuando subo un archivo, la función Cloud se activa correctamente pero se agota el tiempo de espera ...
Solución de problemas de errores de importación de la tubería de viga apache [los objetos BoundedSource son mayores que el límite permitido]
Tengo un montón de archivos de texto (~ 1M) almacenados en Google Cloud Storage. Cuando leo estos archivos en la tubería de Google Cloud DataFlow para su procesamiento, siempre aparece el siguiente error: Total size of the BoundedSource objects ...
Perfiles de memoria en Google Cloud Dataflow
¿Cuál sería la mejor manera de depurar problemas de memoria de un trabajo de flujo de datos? Mi trabajo estaba fallando con un error GC OOM, pero cuando lo perfilo localmente no puedo reproducir los escenarios exactos y los volúmenes de ...
FTP a Google Storage
Algunos archivos se cargan a diario en un servidor FTP y necesito esos archivos en Google Cloud Storage. No quiero molestar a los usuarios que cargan los archivos para instalar ningún software adicional y simplemente dejar que sigan usando su ...