Результаты поиска по запросу "google-cloud-dataflow"
метод для обхода строк и значений через запятую:
я есть CSV-файл с 2 столбцами и 20 000 строк, которые я хотел бы импортировать в Google Cloud Datastore. Я новичок в базах данных Google Cloud и NoSQL. Я пытался использовать поток данных, но нужно указать имя функции Javascript UDF. ...
@Vetri спасибо за ваш ответ! Мне удалось заставить свою функцию работать после исправления нескольких проблем. Для записи мне не нужно было экспортировать переменную env, если эмулятор облачной функции настроен правильно
вернул облачную функцию, чтобы вызвать шаблон конвейера потока данных и попытаться вызвать функцию, поместив файл в хранилище облачного хранилища. Как обязательное условие для node.js, npm init npm install --save googleapisindex.js const ...
Я предполагаю, что вы спрашиваете о облачной функции файла JS. это stagingLocation и выглядит как '--jobName = FromACloudFunction', '--project = analytics-project', '--runner = DataflowRunner', '--stagingLocation = gs: // mybucket / staging'
аюсь запустить конвейер потока данных из облачной функции, которая сама запускается при загрузке нового файла в корзину GCS. Когда я загружаю файл, функция Cloud запускается должным образом, но время ожидания истекает через несколько секунд без ...
Предположим, что порядок группировки не важен, вы можете просто сгруппировать внутри
аюсь сделать что-то вроде этого:Пакетная сборка ПК в Beam / Dataflow [https://stackoverflow.com/questions/44348085/batch-pcollection-in-beam-dataflow] Ответ в приведенной выше ссылке на Java, а язык, с которым я работаю - Python. Таким образом, ...
Спасибо @ThomasSchmidt. Я надеюсь, что Google работает больше, потому что это слишком далеко от двух других основных облачных компаний
тоящее время я работаю над заданием ETL Dataflow (используя Apache Beam Python SDK), которое запрашивает данные из CloudSQL (сpsycopg2 и обычайParDo) и пишет это в BigQuery. Моя цель - создать шаблон потока данных, который я могу запустить из ...
Спасибо за ваш ответ. Начиная с новой версии SDK 2.x, источник Pub / Sub находится только в потоковом режиме. Так что это решение не будет возможно в этом случае. :-(
ользую потоковые конвейеры Cloud Dataflow для вставки событий, полученных из Pub / Sub, в набор данных BigQuery. Мне нужно несколько, чтобы каждая работа была простой и легкой в обслуживании. Меня беспокоит глобальная стоимость. Объем данных ...
, Вы уже столкнетесь с проблемой при локальном построении графика выполнения конвейера (> 1 часа, задание еще не отправлено) и может превысить ограничение в 10 МБ для API потока данных. Я бы использовал этот пример для небольшого количества больших файлов и альтернатив, которые я привел в своем ответе для многих маленьких файлов. Если в вашем случае использования много больших файлов, я бы попытался преобразовать его в одну из других управляемых ситуаций.
ел, что на этот вопрос ответили ранее о переполнении стека ...
Привет, Крис. Извините, что проигнорировал ваш предыдущий ответ. У меня есть упрощенная установка для подтверждения концепции мастерства. Я обошел конфликт, разделив проекты (как в моем случае, я имел дело с издателем Pub / Sub и проектом Dataflow). Это действительно не оптимально, но пока подойдет. Спасибо за внимание, я буду следить за этой проблемой.
кже поднял вопрос GitHub для этого - https://github.com/googleapis/google-cloud-java/issues/4095 [https://github.com/googleapis/google-cloud-java/issues/4095]) У меня есть последние версии следующих 2 зависимостей для Apache Beam: Зависимость 1 ...
Если вам нужно / требуется больше управления, контроля, планирования и т. Д. Для задач с большими данными, тогда Cloud Composer добавляет значительную ценность. Если вы время от времени выполняете простую задачу Cloud Dataflow по требованию, Cloud Composer может оказаться излишним.
шу прощения за этот наивный вопрос, но я хотел бы получить некоторые разъяснения о том, является ли Cloud Dataflow или Cloud Composer подходящим инструментом для работы, и мне неясно из документации Google. В настоящее время я использую Cloud ...