Fluxos de dados persistentes com dask

Estou interessado em trabalhar com fluxos de dados distribuídos persistentes com recursos semelhantes aos do projeto Pegasus:https://pegasus.isi.edu/ [https://pegasus.isi.edu/]por exemplo. Você acha que existe uma maneira de fazer isso com o ...

A entrada do armazenamento de dados no pipeline do fluxo de dados do google pode ser processada em um lote de N entradas por vez?

Estou tentando executar um trabalho de pipeline de fluxo de dados que executaria uma função emN entradas por vezdo armazenamento de dados. No meu caso, essa função está enviando lotes de 100 entradas para algum serviço REST como carga útil. Isso ...

Como criar um gráfico de fluxo de dados (DFG / SDFG) para qualquer aplicativo a partir do seu código-fonte

Fiz muita pesquisa para descobrir como um DFG pode ser criado para um aplicativo a partir do seu código-fonte. Existem DFGs disponíveis on-line para determinadas aplicações, como decodificador de MP3, compactação JPEG e decodificador H.263. Não ...

Solução de problemas de erros de importação de pipeline do apache beam [objetos BoundedSource são maiores que o limite permitido]

Eu tenho vários arquivos de texto (~ 1 milhão) armazenados no armazenamento em nuvem do Google. Quando leio esses arquivos no pipeline do Google Cloud DataFlow para processamento, sempre recebo o seguinte erro: Total size of the BoundedSource ...

Como criar grupos de N elementos a partir de um PCollection Apache Beam Python

Estou tentando realizar algo como isto:Coleta de PC em lote no feixe / fluxo de dados [https://stackoverflow.com/questions/44348085/batch-pcollection-in-beam-dataflow] A resposta no link acima está em Java, enquanto a linguagem com a qual ...

Fluxo de dados TPL x semáforo simples

Eu tenho um requisito para fazer um processo escalável. O processo possui principalmente operações de E / S com algumas operações menores da CPU (principalmente desserializando cadeias). O processo consulta o banco de dados em busca de uma lista ...

número de verilog de uns no array

Confusão entre os modelos de modelos comportamentais e de fluxo de dados em VHDL

Por que os blocos são executados nessa ordem?

Este é um exemplo de código curto para apresentar rapidamente a você qual é a minha pergunta: using System; using System.Linq; using System.Threading.Tasks; using System.Threading.Tasks.Dataflow; namespace DataflowTest { class Program { ...

ropriedades de fluxo de dados lento (como planilha) com dependências em Pyth

Meu problema é o seguinte: Eu tenho algumas classes python que possuem propriedades derivadas de outras propriedades; e esses devem ser armazenados em cache assim que calculados e os resultados armazenados em cache devem ser invalidados sempre ...