Suchergebnisse für Anfrage "google-cloud-dataflow"
Complex Join mit Google Dataflow
Ich bin ein Neuling und versuche zu verstehen, wie wir einen Batch-ETL-Prozess in Google Dataflow neu schreiben können. Ich habe einige der Dokumente gelesen und einige Beispiele aufgeführt. Ich schlage vor, dass der neue ETL-Prozess von ...
Kann eine Datenspeichereingabe in der Google-Datenfluss-Pipeline in einem Stapel von N Einträgen gleichzeitig verarbeitet werden?
Ich versuche, einen Datenfluss-Pipeline-Job auszuführen, der eine Funktion auf @ ausführen würdN Einträge gleichzeitig vom Datenspeicher. In meinem Fall sendet diese Funktion einen Stapel von 100 Einträgen als Nutzlast an einen REST-Service. ...
Kann Google Cloud-Datenfluss (Apache Beam) verwenden, um Video- oder Bilddaten zu verarbeiten ffmpeg
Kann ein Datenflussprozess mit ffmpeg Videos oder Bilder verarbeiten und wenn ja, wie würde ein Beispiel-Workflow aussehen?
Ist es möglich, einen benutzerdefinierten Computer für Dataflow-Instanzen zu verwenden?
Ich habe gelesen Erstellen-Instanz-mit-benutzerdefinierten-Maschinentyp [https://cloud.google.com/compute/docs/instances/creating-instance-with-custom-machine-type] und Es scheint wirklich interessant zu sein, aber ich weiß nicht, wie ich ...
Dynamischer Tabellenname beim Schreiben von Datenfluss-Pipelines in BQ
Als Folgefrage zu folgender Frage und Antwort: https: //stackoverflow.com/questions/31156774/about-key-grouping-with-groupbyke [https://stackoverflow.com/questions/31156774/about-key-grouping-with-groupbykey] Ich möchte mit dem google dataflow ...
Wann wird das Lesen der Nachricht mithilfe des Google Cloud-Datenflusses PubSubIO bestätigt?
Ist es möglich, die Bestätigung zu verzögern, bis der Untergraph (alles unter PubSubIO.Read) erfolgreich verarbeitet wurde? Zum Beispiel sind wir streaming liest aus einem Google Pubsub-Abonnement und schreibt dann eine Datei an GCS. In einem ...
So kombinieren Sie Streaming-Daten mit umfangreichen Verlaufsdaten in Dataflow / Beam
Ich untersuche die Verarbeitung von Protokollen aus Webbenutzersitzungen über Google Dataflow / Apache Beam und muss die Protokolle des Benutzers beim Eingang (Streaming) mit dem Verlauf der Sitzung eines Benutzers aus dem letzten ...
ETL & Analysieren von CSV-Dateien in Cloud Dataflow
Ich bin neu in Cloud-Datenfluss und Java und hoffe, dass dies die richtige Frage ist. Ich habe eine CSV-Datei mit n Spalten und Zeilen, die ein String, eine Ganzzahl oder ein Zeitstempel sein können. Muss ich für jede Spalte eine neue ...
Dataflow gibt den parametrisierten Typ in die AVRO-Datei @ a
Ich habe eine Pipeline, die eine Avro-Datei wie folgt erfolgreich ausgibt: @DefaultCoder(AvroCoder.class) class MyOutput_T_S { T foo; S bar; Boolean baz; public MyOutput_T_S() {} } @DefaultCoder(AvroCoder.class) class T { String id; public T() ...
Erstellen / Schreiben in eine parititoned BigQuery-Tabelle über Google Cloud Dataflow
Ich wollte die neue BigQuery-Funktionalität zeitpartitionierter Tabellen nutzen, bin mir jedoch nicht sicher, ob dies derzeit in der Version 1.6 des Dataflow SDK möglich ist. Mit Blick auf dieBigQuery JSON ...