Ошибки компиляции при поиске символов, включая Pipeline, PCollection, PipelineOptions и т. Д.

 Запрос?

ылвопрос по этой теме, ответ сказал: «Подтверждение будет сделано после того, как сообщение будет надежно сохранено где-то в конвейере потока данных».Концепт...

Я решил, используя несколько пардос, в конце концов, спасибо.

У меня та же проблема, так что, наконец, какой правильный способ сделать это с DirectRunner?

у очень простой конвейер DataFlow с использованием Python SDK v0.5.5. Конвейер использует BigQuerySource с переданным запросом, который запрашивает таблицы B...

эта функция доступна в Python SDK сейчас?

Я хотел бы увидеть пример кеширования с использованием гуавы или использования State.

тим построить конвейер потоковой передачи данных Cloud, который принимает события из Pubsub и выполняет несколько ETL-подобных операций для каждого отдельног...

Руководство по программированию Beam

 чтобы правильно реализовать это, используя алгоритм сравнения и замены, каждый элемент будет по-прежнему обрабатываться последовательно, причем все потоки, кроме одного, будут все время ожидать.

нерируем последовательный индекс в ParDo, используя Java SDK 2.0.0 от Beam. Так же, как простой пример с указателем состояния в Beamвведение в обработку состояний ...

Отлично, спасибо за помощь!

аюсь выяснить, как загрузить файл CSV из GCS в BigQuery. Трубопровод ниже: // Create the pipeline Pipeline p = Pipeline.create(options); // Create the PCollection from csv PCollection<String> lines ...

Не стесняйтесь задавать вопросы, если вы хотите, чтобы я разъяснил это дальше.

у найти только женщин-сотрудников из двух разных файлов JSON и выбрать только те поля, которые нас интересуют, и записать вывод в другой JSON. Также я пытаюсь реализовать это в облачной платформе Google, используя Dataflow. Может ли кто-нибудь ...