Resultados de la búsqueda a petición "apache-beam"
¿Qué es el haz de Apache? [cerrado]
Estaba revisando las publicaciones de Apache y encontré un nuevo término llamado Beam. ¿Alguien puede explicar qué es exactamente Apache Beam? Intenté buscar en Google pero no pude obtener una respuesta clara.
Cómo combinar la transmisión de datos con un gran conjunto de datos históricos en Dataflow / Beam
Estoy investigando el procesamiento de registros de sesiones de usuario web a través de Google Dataflow / Apache Beam y necesito combinar los registros del usuario a medida que ingresan (transmisión) con el historial de la sesión de un usuario ...
Lectura del encabezado CSV con flujo de datos
Tengo un archivo CSV y no sé los nombres de las columnas con anticipación. Necesito generar los datos en JSON después de algunas transformaciones en Google Dataflow. ¿Cuál es la mejor manera de tomar la fila del encabezado e impregnar ...
Consumir datos ilimitados en Windows con disparador predeterminado
tengo unPub / Sub [https://cloud.google.com/pubsub/docs]tema + suscripción y desea consumir y agregar los datos ilimitados de la suscripción en unFlujo de datos [https://cloud.google.com/dataflow/docs]. Utilizo una ventana fija y escribo los ...
Lectura de JSON anidado en Google Dataflow / Apache Beam
Es posible leer archivos JSON sin anotar en Cloud Storage con Dataflow a través de: p.apply("read logfiles", TextIO.Read.from("gs://bucket/*").withCoder(TableRowJsonCoder.of()));Si solo quiero escribir esos registros con un filtrado mínimo en ...
¿Qué significa el objeto de tipo '_UnwindowedValues' sin len ()?
Estoy usando Dataflow 0.5.5 Python. Se encontró con el siguiente error en un código muy simple: print(len(row_list))row_list es una lista Exactamente el mismo código, los mismos datos y la misma tubería funcionan perfectamente bien en ...
Haz de Apache: PubsubReader falla con NPE
Tengo una tubería de haz que lee de PubSub y escribe en BigQuery después de aplicar alguna transformación. La tubería falla constantemente con un NPE. Estoy usando beam SDK versión 0.6.0. ¿Alguna idea de lo que podría estar haciendo mal? Estoy ...
Diferencia entre Apache Beam y Apache Nifi
¿Cuáles son los casos de uso de Apache Beam y Apache Nifi? Parece que ambos son motores de flujo de datos. En caso de que ambos tengan un caso de uso similar, ¿cuál de los dos es mejor?
Escribir diferentes valores en diferentes tablas de BigQuery en Apache Beam
Supongamos que tengo unPCollection<Foo> y quiero escribirlo en varias tablas de BigQuery, eligiendo una tabla potencialmente diferente para cadaFoo. ¿Cómo puedo hacer esto usando el Haz de Apache?BigQueryIO API?
Canalización de flujo de datos de Google con caché local de instancia + llamadas a la API REST externa
Queremos construir una tubería de Streaming de flujo de datos en la nube que ingiera eventos de Pubsub y realice múltiples operaciones similares a ETL en cada evento individual. Una de estas operaciones es que cada evento tiene unIdentificación ...