Flujos de datos persistentes con dask

Estoy interesado en trabajar con flujos de datos distribuidos persistentes con características similares a las del proyecto Pegasus:https://pegasus.isi.edu/ [https://pegasus.isi.edu/]por ejemplo. ¿Crees que hay una manera de hacerlo ...

¿Se puede procesar la entrada del almacén de datos en la tubería de flujo de datos de Google en un lote de N entradas a la vez?

Estoy tratando de ejecutar un trabajo de canalización de flujo de datos que ejecutaría una función enN entradas a la vezdel almacén de datos. En mi caso, esta función está enviando un lote de 100 entradas a algún servicio REST como carga útil. ...

¿Cómo se puede crear un gráfico de flujo de datos (DFG / SDFG) para cualquier aplicación a partir de su código fuente?

He investigado mucho para descubrir cómo se puede crear un DFG para una aplicación a partir de su código fuente. Hay DFG disponibles en línea para ciertas aplicaciones, como MP3 Decoder, compresión JPEG y H.263 Decoder. No he podido averiguar ...

Solución de problemas de errores de importación de la tubería de viga apache [los objetos BoundedSource son mayores que el límite permitido]

Tengo un montón de archivos de texto (~ 1M) almacenados en Google Cloud Storage. Cuando leo estos archivos en la tubería de Google Cloud DataFlow para su procesamiento, siempre aparece el siguiente error: Total size of the BoundedSource objects ...

Cómo crear grupos de elementos N desde una PCollection Apache Beam Python

Estoy tratando de lograr algo como esto:Batch PCollection en Beam / Dataflow [https://stackoverflow.com/questions/44348085/batch-pcollection-in-beam-dataflow] La respuesta en el enlace anterior está en Java, mientras que el lenguaje con el que ...

TPL Dataflow vs Semaphore simple

Tengo el requisito de hacer un proceso escalable. El proceso tiene principalmente operaciones de E / S con algunas operaciones menores de CPU (principalmente cadenas de deserialización). El proceso consulta la base de datos para obtener una ...

número verilog de los que están en la matriz

Confusión entre los programas del modelo de comportamiento y flujo de datos en VHDL

¿Por qué los bloques se ejecutan en este orden?

Este es un ejemplo breve de código para presentarle rápidamente cuál es mi pregunta: using System; using System.Linq; using System.Threading.Tasks; using System.Threading.Tasks.Dataflow; namespace DataflowTest { class Program { static void ...

Obtener el nivel de una jerarquía

Tengo una matriz de objetos, donde cada objeto tiene una