Resultados de la búsqueda a petición "google-cloud-dataflow"
Consumir datos ilimitados en Windows con disparador predeterminado
tengo unPub / Sub [https://cloud.google.com/pubsub/docs]tema + suscripción y desea consumir y agregar los datos ilimitados de la suscripción en unFlujo de datos [https://cloud.google.com/dataflow/docs]. Utilizo una ventana fija y escribo los ...
Compile errores al encontrar símbolos como Pipeline, PCollection, PipelineOptions, etc.
A partir de hoy, obtengo un corte de compilación para el código existente que solía compilarse correctamente, debido a un error al ubicar muchas clases clave en el SDK de Dataflow para Java. Por ...
¿Cuándo Dataflow reconoce un mensaje de elementos en lote de PubSubIO?
Ha habido unapregunta sobre este tema [https://stackoverflow.com/questions/36018920/using-google-cloud-dataflow-pubsubio-when-does-the-read-of-the-message-get-acknhttp://] , la respuesta decía "El reconocimiento se realizará una vez que el ...
Lectura de JSON anidado en Google Dataflow / Apache Beam
Es posible leer archivos JSON sin anotar en Cloud Storage con Dataflow a través de: p.apply("read logfiles", TextIO.Read.from("gs://bucket/*").withCoder(TableRowJsonCoder.of()));Si solo quiero escribir esos registros con un filtrado mínimo en ...
Google DataFlow no puede leer ni escribir en diferentes ubicaciones (Python SDK v0.5.5)
Estoy escribiendo una tubería DataFlow muy básica usando Python SDK v0.5.5. La canalización utiliza un BigQuerySource con una consulta pasada, que consulta las tablas BigQuery de conjuntos de datos que residen en la UE. Al ejecutar la ...
¿Qué significa el objeto de tipo '_UnwindowedValues' sin len ()?
Estoy usando Dataflow 0.5.5 Python. Se encontró con el siguiente error en un código muy simple: print(len(row_list))row_list es una lista Exactamente el mismo código, los mismos datos y la misma tubería funcionan perfectamente bien en ...
FTP a Google Storage
Algunos archivos se cargan a diario en un servidor FTP y necesito esos archivos en Google Cloud Storage. No quiero molestar a los usuarios que cargan los archivos para instalar ningún software adicional y simplemente dejar que sigan usando su ...
Escribir diferentes valores en diferentes tablas de BigQuery en Apache Beam
Supongamos que tengo unPCollection<Foo> y quiero escribirlo en varias tablas de BigQuery, eligiendo una tabla potencialmente diferente para cadaFoo. ¿Cómo puedo hacer esto usando el Haz de Apache?BigQueryIO API?
Canalización de flujo de datos de Google con caché local de instancia + llamadas a la API REST externa
Queremos construir una tubería de Streaming de flujo de datos en la nube que ingiera eventos de Pubsub y realice múltiples operaciones similares a ETL en cada evento individual. Una de estas operaciones es que cada evento tiene unIdentificación ...
Marca de agua atascada
Estoy ingiriendo datos a través de pub / sub a una tubería de flujo de datos que se ejecuta en modo ilimitado. Los datos son básicamente coordenadas con marcas de tiempo capturadas desde dispositivos de seguimiento. Esos mensajes llegan en lotes, ...