Результаты поиска по запросу "google-cloud-dataflow"
Это не работает (пробовал в сочетании с раздвижными и глобальными окнами)
аюсь реализовать конвейер и принимает поток данных, и каждую минуту выводит True, если есть какой-либо элемент в минутном интервале, или False, если его нет. Панель (с постоянным временным триггером) или окно (фиксированное окно), по-видимому, не ...
@grzes Я окончательно отказался от DataFlow как решения для обработки событий в полном порядке. Я попытался использовать подход, предложенный Кенном, но натолкнулся на всевозможные проблемы, из-за которых конвейер завис. Я пытался заручиться поддержкой службы поддержки Google, но ничего не вышло. В итоге я реализовал подход пакетной обработки в Apache Spark, который оказался очень успешным.
емный контекстЯ пытаюсь сгенерировать общий (линейный) порядок элементов событий на ключ из потока в реальном времени, где порядок - это время события (полученное из полезной нагрузки события). ПодходЯ попытался реализовать это с помощью ...
это сработало, спасибо
я пытаюсь импортировать Apache Beam, я получаю следующую ошибку. >>> import apache_beam Traceback (most recent call last): File "<stdin>", line 1, in <module> ...
Я приветствовал бы обновление подхода к динамическим именам таблиц для Python BigQuerySink. Это мешает мне создавать поэтапные шаблоны, так как имя таблицы не оценивается во время выполнения.
льку у меня работает работающий статический поток данных, я хотел бы создать шаблон из этого, чтобы позволить мне легко повторно использовать поток данных без какой-либо командной строки. ПослеСоздание ...
DoFn.
рабатываю лучевой конвейер для бегуна потока данных. Мне нужна ниже функциональность в моем случае использования. Прочитайте входные события из темы Кафки. Каждое значение сообщения Кафки получено[userID, Event] пара.Для каждогоuserIDМне нужно ...
в качестве выходного пункта назначения. Дайте мне знать, если вы хотите больше информации об этом бите.
ствуйте, я очень смущен динамическим назначением файлов API, и нет документов, так что я здесь. Ситуация у меня есть PCollection, и он содержит события, принадлежащие к различным разделам. Я хочу разделить их и записать в разные папки в ...
@Vetri спасибо за ваш ответ! Мне удалось заставить свою функцию работать после исправления нескольких проблем. Для записи мне не нужно было экспортировать переменную env, если эмулятор облачной функции настроен правильно
вернул облачную функцию, чтобы вызвать шаблон конвейера потока данных и попытаться вызвать функцию, поместив файл в хранилище облачного хранилища. Как обязательное условие для node.js, npm init npm install --save googleapisindex.js const ...
Я предполагаю, что вы спрашиваете о облачной функции файла JS. это stagingLocation и выглядит как '--jobName = FromACloudFunction', '--project = analytics-project', '--runner = DataflowRunner', '--stagingLocation = gs: // mybucket / staging'
аюсь запустить конвейер потока данных из облачной функции, которая сама запускается при загрузке нового файла в корзину GCS. Когда я загружаю файл, функция Cloud запускается должным образом, но время ожидания истекает через несколько секунд без ...
Предположим, что порядок группировки не важен, вы можете просто сгруппировать внутри
аюсь сделать что-то вроде этого:Пакетная сборка ПК в Beam / Dataflow [https://stackoverflow.com/questions/44348085/batch-pcollection-in-beam-dataflow] Ответ в приведенной выше ссылке на Java, а язык, с которым я работаю - Python. Таким образом, ...
Спасибо @ThomasSchmidt. Я надеюсь, что Google работает больше, потому что это слишком далеко от двух других основных облачных компаний
тоящее время я работаю над заданием ETL Dataflow (используя Apache Beam Python SDK), которое запрашивает данные из CloudSQL (сpsycopg2 и обычайParDo) и пишет это в BigQuery. Моя цель - создать шаблон потока данных, который я могу запустить из ...