Resultados de la búsqueda a petición "google-cloud-dataflow"
Utilizando Dataflow vs. Cloud Composer
Pido disculpas por esta ingenua pregunta, pero me gustaría obtener alguna aclaración sobre si Cloud Dataflow o Cloud Composer es la herramienta adecuada para el trabajo, y la documentación de Google no me dejó claro. Actualmente, estoy usando ...
Maven conflict en la aplicación Java con dependencia de google-cloud-core-grpc
(También he planteado un problema de GitHub para esto:https: //github.com/googleapis/google-cloud-java/issues/409 [https://github.com/googleapis/google-cloud-java/issues/4095]) Tengo las últimas versiones de las siguientes 2 dependencias para ...
Flujo de datos / haz de apache: ¿cómo acceder al nombre de archivo actual al pasar un patrón?
He visto esta pregunta respondida antes en el desbordamiento de pila ...
¿Puede la escala de trabajo de transmisión de flujo de datos en la nube a cero?
Estoy usando canales de transmisión de Cloud Dataflow para insertar eventos recibidos de Pub / Sub en un conjunto de datos de BigQuery. Necesito algunos para mantener cada trabajo simple y fácil de mantener. Mi preocupación es sobre el costo ...
Inicie Proxy CloudSQL en Python Dataflow / Apache Beam
Actualmente estoy trabajando en un trabajo ETL Dataflow (usando el SDK de Apache Beam Python) que consulta datos de CloudSQL (conpsycopg2 y una @ personalizaParDo) y lo escribe en BigQuery. Mi objetivo es crear una plantilla de flujo de datos ...
Cómo crear grupos de elementos N desde una PCollection Apache Beam Python
Estoy tratando de lograr algo como esto:Batch PCollection en Beam / Dataflow [https://stackoverflow.com/questions/44348085/batch-pcollection-in-beam-dataflow] La respuesta en el enlace anterior está en Java, mientras que el lenguaje con el que ...
Activación de la canalización de flujo de datos en la nube desde la función de nube: la función agota el tiempo de espera
Estoy tratando de activar una tubería de flujo de datos desde una función de nube que se activa al cargar un nuevo archivo en un depósito de GCS. Cuando subo un archivo, la función Cloud se activa correctamente pero se agota el tiempo de espera ...
Funciones en la nube de Google: no se puede leer la propiedad 'getApplicationDefault'
He implementado una función en la nube para invocar una plantilla de canalización de flujo de datos y tratar de activar la función colocando el archivo en el depósito de almacenamiento en la nube. Como requisito previo de node.js que he ...
Importar CSV en el almacén de datos de Google Cloud
Tengo un archivo CSV con 2 columnas y 20,000 filas que me gustaría importar en Google Cloud Datastore. Soy nuevo en las bases de datos Google Cloud y NoSQL. He intentado usar el flujo de datos pero necesito proporcionar un nombre de función UDF ...
Cómo usar destinos de texto io de flujo de datos dinámicos en java
Hola, estoy muy confundido por la API de destinos de archivos dinámicos y no hay documentos, así que aquí estoy. La situación es que tengo una PCollection y contiene eventos que pertenecen a diferentes particiones. Quiero dividirlos y ...