Результаты поиска по запросу "google-cloud-dataflow"
Я хотел бы увидеть пример кеширования с использованием гуавы или использования State.
тим построить конвейер потоковой передачи данных Cloud, который принимает события из Pubsub и выполняет несколько ETL-подобных операций для каждого отдельног...
Не стесняйтесь задавать вопросы, если вы хотите, чтобы я разъяснил это дальше.
у найти только женщин-сотрудников из двух разных файлов JSON и выбрать только те поля, которые нас интересуют, и записать вывод в другой JSON. Также я пытаюсь реализовать это в облачной платформе Google, используя Dataflow. Может ли кто-нибудь ...
detectClassPathResourcesToStage - Невозможно преобразовать URL
Когда я запускаю флягу в GCE, у нее была следующая ошибка:java -jar mySimple.jar --project = myProjcet
Как комментарий, вам не нужно запускать все эти профилирования - это может замедлить вашу работу.
ользую Dataflow 0.5.5 Python. Наткнулся на следующую ошибку в очень простом коде:
Предположим, что порядок группировки не важен, вы можете просто сгруппировать внутри
аюсь сделать что-то вроде этого:Пакетная сборка ПК в Beam / Dataflow [https://stackoverflow.com/questions/44348085/batch-pcollection-in-beam-dataflow] Ответ в приведенной выше ссылке на Java, а язык, с которым я работаю - Python. Таким образом, ...
Отлично, спасибо за помощь!
аюсь выяснить, как загрузить файл CSV из GCS в BigQuery. Трубопровод ниже: // Create the pipeline Pipeline p = Pipeline.create(options); // Create the PCollection from csv PCollection<String> lines ...
Чтение нескольких файлов .gz и определение, какая строка принадлежит какому файлу
Я читаю несколько файлов .gz для обработки с использованием потока данных Google. Конечный пункт назначения данных - BigQuery. Таблица BigQuery имеет выделен...
, Вы уже столкнетесь с проблемой при локальном построении графика выполнения конвейера (> 1 часа, задание еще не отправлено) и может превысить ограничение в 10 МБ для API потока данных. Я бы использовал этот пример для небольшого количества больших файлов и альтернатив, которые я привел в своем ответе для многих маленьких файлов. Если в вашем случае использования много больших файлов, я бы попытался преобразовать его в одну из других управляемых ситуаций.
ел, что на этот вопрос ответили ранее о переполнении стека ...