Результаты поиска по запросу "apache-beam"
это сработало, спасибо
я пытаюсь импортировать Apache Beam, я получаю следующую ошибку. >>> import apache_beam Traceback (most recent call last): File "<stdin>", line 1, in <module> ...
? У меня точно такая же проблема, но не следите за тем, как это увеличивает параллелизм.
абота с потоковыми данными (2017-09-08_03_55_43-9675407418829265662) с помощьюApache Beam SDK for Java 2.1.0 не будет масштабироваться после 1 Worker даже с растущей очередью pubsub (сейчас 100 тыс. недоставленных сообщений) - есть ли у вас идеи ...
Я приветствовал бы обновление подхода к динамическим именам таблиц для Python BigQuerySink. Это мешает мне создавать поэтапные шаблоны, так как имя таблицы не оценивается во время выполнения.
льку у меня работает работающий статический поток данных, я хотел бы создать шаблон из этого, чтобы позволить мне легко повторно использовать поток данных без какой-либо командной строки. ПослеСоздание ...
DoFn.
рабатываю лучевой конвейер для бегуна потока данных. Мне нужна ниже функциональность в моем случае использования. Прочитайте входные события из темы Кафки. Каждое значение сообщения Кафки получено[userID, Event] пара.Для каждогоuserIDМне нужно ...
Вариант 3: обработка в пакетном режиме, запускаемая из внешнего источника. Этот подход вводит задержку по сравнению с вариантами 1 и 2, поскольку конвейер должен запуститься до начала обработки. Здесь вы можете запустить событие из вашей исходной файловой системы, чтобы запланировать или немедленно запустить процесс потока данных. Этот вариант лучше всего подходит для низкочастотных обновлений файлов большого размера.
я есть каталог в GCS или другой поддерживаемой файловой системе, в которую новые файлы записываются внешним процессом. Я хотел бы написать потоковый конвейер Apache Beam, который постоянно следит за этим каталогом на предмет новых файлов, читает ...
в качестве выходного пункта назначения. Дайте мне знать, если вы хотите больше информации об этом бите.
ствуйте, я очень смущен динамическим назначением файлов API, и нет документов, так что я здесь. Ситуация у меня есть PCollection, и он содержит события, принадлежащие к различным разделам. Я хочу разделить их и записать в разные папки в ...
строка, то, похоже, нужно обернуть 1-й аргумент в
у записать в файл GS, но я не знаю имя файла во время компиляции. Его имя основано на поведении, которое определяется во время выполнения. Как я могу продолжить?
github.com/spring-cloud/spring-cloud-gcp/issues/442
но приложение весенней загрузки 2.0.0.RC с Google Dataflow и другими службами и развернуто с помощью следующей команды mavenmvn appengine:deploy, Сборка проходит успешно в AppEngine, и создается экземпляр. Проблема в приборной панели App Engine: ...
Предположим, что порядок группировки не важен, вы можете просто сгруппировать внутри
аюсь сделать что-то вроде этого:Пакетная сборка ПК в Beam / Dataflow [https://stackoverflow.com/questions/44348085/batch-pcollection-in-beam-dataflow] Ответ в приведенной выше ссылке на Java, а язык, с которым я работаю - Python. Таким образом, ...
https://issues.apache.org/jira/browse/BEAM-3198
таемся написать в Big Query, используя Apache Beam и avro. Следующее, кажется, работает нормально: p.apply("Input", AvroIO.read(DataStructure.class).from("AvroSampleFile.avro")) .apply("Transform", ParDo.of(new CustomTransformFunction())) ...