Resultados de la búsqueda a petición "google-cloud-dataflow"
Observar nuevos archivos que coincidan con un patrón de archivos en Apache Beam
Tengo un directorio en GCS u otro sistema de archivos compatible en el que un proceso externo escribe nuevos archivos. Me gustaría escribir una canalización de transmisión de Apache Beam que supervise continuamente este directorio en busca de ...
Cómo usar destinos de texto io de flujo de datos dinámicos en java
Hola, estoy muy confundido por la API de destinos de archivos dinámicos y no hay documentos, así que aquí estoy. La situación es que tengo una PCollection y contiene eventos que pertenecen a diferentes particiones. Quiero dividirlos y ...
Importar CSV en el almacén de datos de Google Cloud
Tengo un archivo CSV con 2 columnas y 20,000 filas que me gustaría importar en Google Cloud Datastore. Soy nuevo en las bases de datos Google Cloud y NoSQL. He intentado usar el flujo de datos pero necesito proporcionar un nombre de función UDF ...
Funciones en la nube de Google: no se puede leer la propiedad 'getApplicationDefault'
He implementado una función en la nube para invocar una plantilla de canalización de flujo de datos y tratar de activar la función colocando el archivo en el depósito de almacenamiento en la nube. Como requisito previo de node.js que he ...
Activación de la canalización de flujo de datos en la nube desde la función de nube: la función agota el tiempo de espera
Estoy tratando de activar una tubería de flujo de datos desde una función de nube que se activa al cargar un nuevo archivo en un depósito de GCS. Cuando subo un archivo, la función Cloud se activa correctamente pero se agota el tiempo de espera ...
Cómo crear grupos de elementos N desde una PCollection Apache Beam Python
Estoy tratando de lograr algo como esto:Batch PCollection en Beam / Dataflow [https://stackoverflow.com/questions/44348085/batch-pcollection-in-beam-dataflow] La respuesta en el enlace anterior está en Java, mientras que el lenguaje con el que ...
Inicie Proxy CloudSQL en Python Dataflow / Apache Beam
Actualmente estoy trabajando en un trabajo ETL Dataflow (usando el SDK de Apache Beam Python) que consulta datos de CloudSQL (conpsycopg2 y una @ personalizaParDo) y lo escribe en BigQuery. Mi objetivo es crear una plantilla de flujo de datos ...
¿Puede la escala de trabajo de transmisión de flujo de datos en la nube a cero?
Estoy usando canales de transmisión de Cloud Dataflow para insertar eventos recibidos de Pub / Sub en un conjunto de datos de BigQuery. Necesito algunos para mantener cada trabajo simple y fácil de mantener. Mi preocupación es sobre el costo ...
Flujo de datos / haz de apache: ¿cómo acceder al nombre de archivo actual al pasar un patrón?
He visto esta pregunta respondida antes en el desbordamiento de pila ...
Maven conflict en la aplicación Java con dependencia de google-cloud-core-grpc
(También he planteado un problema de GitHub para esto:https: //github.com/googleapis/google-cloud-java/issues/409 [https://github.com/googleapis/google-cloud-java/issues/4095]) Tengo las últimas versiones de las siguientes 2 dependencias para ...