Resultados de la búsqueda a petición "google-cloud-dataflow"
Lectura de JSON anidado en Google Dataflow / Apache Beam
Es posible leer archivos JSON sin anotar en Cloud Storage con Dataflow a través de: p.apply("read logfiles", TextIO.Read.from("gs://bucket/*").withCoder(TableRowJsonCoder.of()));Si solo quiero escribir esos registros con un filtrado mínimo en ...
Compile errores al encontrar símbolos como Pipeline, PCollection, PipelineOptions, etc.
A partir de hoy, obtengo un corte de compilación para el código existente que solía compilarse correctamente, debido a un error al ubicar muchas clases clave en el SDK de Dataflow para Java. Por ...
Google DataFlow no puede leer ni escribir en diferentes ubicaciones (Python SDK v0.5.5)
Estoy escribiendo una tubería DataFlow muy básica usando Python SDK v0.5.5. La canalización utiliza un BigQuerySource con una consulta pasada, que consulta las tablas BigQuery de conjuntos de datos que residen en la UE. Al ejecutar la ...
¿Cuándo Dataflow reconoce un mensaje de elementos en lote de PubSubIO?
Ha habido unapregunta sobre este tema [https://stackoverflow.com/questions/36018920/using-google-cloud-dataflow-pubsubio-when-does-the-read-of-the-message-get-acknhttp://] , la respuesta decía "El reconocimiento se realizará una vez que el ...
¿Cómo obtener una lista de elementos de una PCollection en Google Dataflow y usarla en la tubería para hacer un ciclo de Transformaciones de escritura?
Estoy usando Google Cloud Dataflow con Python SDK. Me gustaría : Obtenga una lista de fechas únicas de una PCollection maestraRecorra las fechas en esa lista para crear PCollections filtradas (cada una con una fecha única) y escriba cada ...
Cómo obtener la marca de tiempo máxima de la ventana deslizante actual
Estoy usando una ventana de tiempo deslizante de tamaño X y período Y. Para marcar el resultado de cada ventana, me gustaría obtener la marca de tiempo de la ventana actual de PCollection. PCollection<T> windowedInput = input ...
El flujo de datos falla con java.lang.NoSuchMethodError: io.grpc.protobuf.ProtoUtils.marshaller (Lcom / google / protobuf / Message;)
Estoy tratando de ejecutar un trabajo de Dataflow en Google Cloud. Siempre falla con: java.lang.NoSuchMethodError: io.grpc.protobuf.ProtoUtils.marshaller (Lcom / google / protobuf / Message;) Lio / grpc / MethodDescriptor $ Marshaller Es un ...
Consumir datos ilimitados en Windows con disparador predeterminado
tengo unPub / Sub [https://cloud.google.com/pubsub/docs]tema + suscripción y desea consumir y agregar los datos ilimitados de la suscripción en unFlujo de datos [https://cloud.google.com/dataflow/docs]. Utilizo una ventana fija y escribo los ...
Lectura del encabezado CSV con flujo de datos
Tengo un archivo CSV y no sé los nombres de las columnas con anticipación. Necesito generar los datos en JSON después de algunas transformaciones en Google Dataflow. ¿Cuál es la mejor manera de tomar la fila del encabezado e impregnar ...
Cómo integrar Google Cloud SQL con Google Big Query
Estoy diseñando una solución en la que Google Cloud SQL se utilizará para almacenar todos los datos del funcionamiento regular de la aplicación (tipo de datos OLTP). Se espera que los datos crezcan con el tiempo a un tamaño bastante grande. Los ...