Большое спасибо за этот ответ, он подробный и понятный, и вы даже сослались на все варианты, которые я упомянул, включая ForEachAsync! +100 :)

я есть требование сделать масштабируемый процесс. Процесс имеет в основном операции ввода-вывода с некоторыми незначительными операциями с процессором (в основном десериализацией строк). Процесс запрашивает у базы данных список URL-адресов, затем ...

Предположим, что порядок группировки не важен, вы можете просто сгруппировать внутри

аюсь сделать что-то вроде этого:Пакетная сборка ПК в Beam / Dataflow [https://stackoverflow.com/questions/44348085/batch-pcollection-in-beam-dataflow] Ответ в приведенной выше ссылке на Java, а язык, с которым я работаю - Python. Таким образом, ...

 но я не могу найти использование с Google Cloud. Любые примеры будут полезны.

я есть куча текстовых файлов (~ 1M), хранящихся в облачном хранилище Google. Когда я читаю эти файлы в конвейер Google Cloud DataFlow для обработки, я всегда получаю следующую ошибку: Total size of the BoundedSource objects returned by ...

 с тестом, который отражает то, что я пытаюсь сделать. Я использовал некоторые материалы, которые @MRocklin дал мне о dask.

Как можно создать граф потока данных (DFG / SDFG) для любого приложения из его исходного кода

Я провел много исследований, чтобы выяснить, как можно создать DFG для приложения из его исходного кода. Для определенных приложений, таких как MP3-декодер, ...

Почему блоки работают в таком порядке?

Можно ли обрабатывать входные данные хранилища данных в конвейере потока данных Google в пакете из N записей одновременно?

Я пытаюсь выполнить работу конвейера потока данных, которая будет выполнять одну функцию наN записей одновременно из хранилища данных. В моем случае эта функ...

verilog количество единиц в массиве

Я пытаюсь узнать количество единиц в 4-битном двоичном числе в Verilog, но ничего не происходит. Я пробовал несколько подходов, это тот, который я думаю, должен работать, но это не так. module ones(one,in); input [3:0]in; output [1:0]one; assign ...

verilog количество единиц в массиве

Путаница между программами поведения и модели потока данных в VHDL

Я использую учебник Дугласа Л Перри "VHDL: программирование на примере", четвертое издание. Он привел пример модели программирования Dataflow на странице 4: Код I: ENTITY mux IS PORT ( a, b, c, d : IN BIT; s0, s1 : IN BIT; x, : OUT BIT); ...