Resultados de la búsqueda a petición "google-cloud-dataflow"
¿Se puede procesar la entrada del almacén de datos en la tubería de flujo de datos de Google en un lote de N entradas a la vez?
Estoy tratando de ejecutar un trabajo de canalización de flujo de datos que ejecutaría una función enN entradas a la vezdel almacén de datos. En mi caso, esta función está enviando un lote de 100 entradas a algún servicio REST como carga útil. ...
Unión compleja con flujo de datos de google
Soy un novato, tratando de entender cómo podríamos reescribir un proceso ETL por lotes en Google Dataflow. He leído algunos de los documentos, ejecuto algunos ejemplos. Estoy proponiendo que el nuevo proceso ETL sea impulsado por eventos ...
¿Puede Google Cloud Dataflow (Apache Beam) usar ffmpeg para procesar datos de video o imagen
¿Puede un proceso de flujo de datos usar ffmpeg para procesar videos o imágenes? De ser así, ¿cómo sería un flujo de trabajo de muestra?
¿Es posible usar una máquina personalizada para instancias de flujo de datos?
He estado leyendocrear-instancia-con-tipo-máquina-personalizada [https://cloud.google.com/compute/docs/instances/creating-instance-with-custom-machine-type] y parece realmente interesante, pero no sé cómo configurar un trabajo de transmisión de ...
Usando el flujo de datos de la nube de Google PubSubIO, ¿cuándo se reconoce la lectura del mensaje?
¿Es posible retrasar el reconocimiento hasta que el subgrafo (todo debajo de PubSubIO.Read) se procese con éxito? Por ejemplo, somostransmisiónlee de una suscripción de google pubsub y luego escribe un archivo en GCS y en otra rama estamos ...
Nombre de tabla dinámica al escribir en BQ desde tuberías de flujo de datos
Como una pregunta de seguimiento a la siguiente pregunta y respuesta: https://stackoverflow.com/questions/31156774/about-key-grouping-with-groupbykey [https://stackoverflow.com/questions/31156774/about-key-grouping-with-groupbykey] Me gustaría ...
Inicie Proxy CloudSQL en Python Dataflow / Apache Beam
Actualmente estoy trabajando en un trabajo ETL Dataflow (usando el SDK de Apache Beam Python) que consulta datos de CloudSQL (conpsycopg2 y una @ personalizaParDo) y lo escribe en BigQuery. Mi objetivo es crear una plantilla de flujo de datos ...
¿Puede la escala de trabajo de transmisión de flujo de datos en la nube a cero?
Estoy usando canales de transmisión de Cloud Dataflow para insertar eventos recibidos de Pub / Sub en un conjunto de datos de BigQuery. Necesito algunos para mantener cada trabajo simple y fácil de mantener. Mi preocupación es sobre el costo ...
Flujo de datos / haz de apache: ¿cómo acceder al nombre de archivo actual al pasar un patrón?
He visto esta pregunta respondida antes en el desbordamiento de pila ...
Maven conflict en la aplicación Java con dependencia de google-cloud-core-grpc
(También he planteado un problema de GitHub para esto:https: //github.com/googleapis/google-cloud-java/issues/409 [https://github.com/googleapis/google-cloud-java/issues/4095]) Tengo las últimas versiones de las siguientes 2 dependencias para ...