Resultados de la búsqueda a petición "google-cloud-dataflow"
importar conflicto de metaclase apache_beam
Cuando intento importar el haz de Apache, aparece el siguiente error. >>> import apache_beam Traceback (most recent call last): File "<stdin>", line 1, in <module> ...
GCP Dataflow 2.0 PubSub a GCS
Me está costando entender los conceptos de .withFileNamePolicy de TextIO.write (). Los requisitos para suministrar una FileNamePolicy parecen increíblemente complejos para hacer algo tan simple como especificar un depósito de GCS para escribir un ...
Marca de agua atascada
Estoy ingiriendo datos a través de pub / sub a una tubería de flujo de datos que se ejecuta en modo ilimitado. Los datos son básicamente coordenadas con marcas de tiempo capturadas desde dispositivos de seguimiento. Esos mensajes llegan en lotes, ...
une dos json en Google Cloud Platform con flujo de datos
Quiero averiguar solo las empleadas de los dos archivos JSON diferentes y seleccionar solo los campos que nos interesan y escribir la salida en otro JSON. También estoy tratando de implementarlo en la plataforma en la nube de Google usando ...
Importar CSV en el almacén de datos de Google Cloud
Tengo un archivo CSV con 2 columnas y 20,000 filas que me gustaría importar en Google Cloud Datastore. Soy nuevo en las bases de datos Google Cloud y NoSQL. He intentado usar el flujo de datos pero necesito proporcionar un nombre de función UDF ...
¿Cómo arreglar Dataflow incapaz de serializar mi DoFn?
Cuando ejecuto mi canalización de flujo de datos, aparece la siguiente excepción quejándose de que mi DoFn no se puede serializar. ¿Cómo puedo solucionar esto? Aquí está el seguimiento de la pila: Caused by: java.lang.IllegalArgumentException: ...
Omitir filas de encabezado: ¿es posible con Cloud DataFlow?
Creé un Pipeline, que lee de un archivo en GCS, lo transforma y finalmente escribe en una tabla BQ. El archivo contiene una fila de encabezado (campos). ¿Hay alguna forma de establecer programáticamente el "número de filas de encabezado para ...
Observar nuevos archivos que coincidan con un patrón de archivos en Apache Beam
Tengo un directorio en GCS u otro sistema de archivos compatible en el que un proceso externo escribe nuevos archivos. Me gustaría escribir una canalización de transmisión de Apache Beam que supervise continuamente este directorio en busca de ...
Cómo usar destinos de texto io de flujo de datos dinámicos en java
Hola, estoy muy confundido por la API de destinos de archivos dinámicos y no hay documentos, así que aquí estoy. La situación es que tengo una PCollection y contiene eventos que pertenecen a diferentes particiones. Quiero dividirlos y ...
Funciones en la nube de Google: no se puede leer la propiedad 'getApplicationDefault'
He implementado una función en la nube para invocar una plantilla de canalización de flujo de datos y tratar de activar la función colocando el archivo en el depósito de almacenamiento en la nube. Como requisito previo de node.js que he ...