Resultados de la búsqueda a petición "google-cloud-dataflow"
FTP a Google Storage
Algunos archivos se cargan a diario en un servidor FTP y necesito esos archivos en Google Cloud Storage. No quiero molestar a los usuarios que cargan los archivos para instalar ningún software adicional y simplemente dejar que sigan usando su ...
TextIO. Leer múltiples archivos de GCS usando el patrón {}
Intenté usar lo siguiente TextIO.Read.from("gs://xyz.abc/xxx_{2017-06-06,2017-06-06}.csv")Ese patrón no funcionó, como entiendo java.lang.IllegalStateException: Unable to find any files ...
GCP Dataflow 2.0 PubSub a GCS
Me está costando entender los conceptos de .withFileNamePolicy de TextIO.write (). Los requisitos para suministrar una FileNamePolicy parecen increíblemente complejos para hacer algo tan simple como especificar un depósito de GCS para escribir un ...
detectClassPathResourcesToStage: no se puede convertir la URL
Cuando ejecuté el jar en el GCE, tenía el siguiente error: java -jar mySimple.jar --project = myProjcet Aug 13, 2015 1:22:26 AM com.google.cloud.dataflow.sdk.runners.DataflowPipelineRunner detectClassPathResourcesToStage SEVERE: Unable to ...
Cómo crear grupos de elementos N desde una PCollection Apache Beam Python
Estoy tratando de lograr algo como esto:Batch PCollection en Beam / Dataflow [https://stackoverflow.com/questions/44348085/batch-pcollection-in-beam-dataflow] La respuesta en el enlace anterior está en Java, mientras que el lenguaje con el que ...
Perfiles de memoria en Google Cloud Dataflow
¿Cuál sería la mejor manera de depurar problemas de memoria de un trabajo de flujo de datos? Mi trabajo estaba fallando con un error GC OOM, pero cuando lo perfilo localmente no puedo reproducir los escenarios exactos y los volúmenes de ...
¿Cómo usar memcache en el flujo de datos?
Me gustaría usar Memcache en dafalow ParDo? ¿alguna idea de cómo? No puedo usar memcahse lib ya que pertenecen a appengine y no son serializables. Rohit
Consumir datos ilimitados en Windows con disparador predeterminado
tengo unPub / Sub [https://cloud.google.com/pubsub/docs]tema + suscripción y desea consumir y agregar los datos ilimitados de la suscripción en unFlujo de datos [https://cloud.google.com/dataflow/docs]. Utilizo una ventana fija y escribo los ...
El trabajo de transmisión de flujo de datos no está escalando más de 1 trabajador
Mi trabajo de flujo de datos de transmisión (2017-09-08_03_55_43-9675407418829265662) utilizandoApache Beam SDK for Java 2.1.0 no escalará a más de 1 trabajador incluso con una cola de pubsub creciente (ahora 100k mensajes no entregados). ¿Tiene ...
¿La plantilla de Dataflow admite la entrada de plantillas para las opciones de hundimiento de BigQuery?
Como tengo un flujo de datos estático en funcionamiento, me gustaría crear una plantilla a partir de este para permitirme reutilizar fácilmente el flujo de datos sin escribir ninguna línea de comando. Siguiendo elCrear ...