Suchergebnisse für Anfrage "google-cloud-dataflow"
Headerzeilen überspringen - ist das mit Cloud DataFlow möglich?
Ich habe eine Pipeline erstellt, die aus einer Datei in GCS liest, diese transformiert und schließlich in eine BQ-Tabelle schreibt. Die Datei enthält eine Kopfzeile (Felder). Gibt es eine Möglichkeit, die "Anzahl der zu überspringenden ...
Ergebnisse der Google-Datenfluss-Pipeline in mehrere Senken schreiben
Ich möchte die Ergebnisse der Google-Datenfluss-Pipeline in mehrere Senken schreiben. Wie ich möchte das Ergebnis mit TextIO in Google Cloud Storage schreiben und die Ergebnisse als Tabelle in BigQuery schreiben. Wie kann ich das machen
Wie schreibe ich ein Schema, das während der Ausführung derselben Dataflow-Pipeline berechnet wurde, in BigQuery?
Mein Szenario ist eine Variation des hier diskutierten:Wie schreibe ich mit einem Schema, das während der Ausführung von Dataflow berechnet wurde, ...
detectClassPathResourcesToStage - URL kann nicht konvertiert werden
Wenn ich das Glas im GCE laufen lasse, hatte es den folgenden Fehler: java -jar mySimple.jar --project = myProjcet Aug 13, 2015 1:22:26 AM com.google.cloud.dataflow.sdk.runners.DataflowPipelineRunner detectClassPathResourcesToStage SEVERE: ...
Benutzerdefinierte Codierer einstellen und parametrisierte Typen handhaben
Ich habe zwei Fragen im Zusammenhang mit Codierungsproblemen mit meiner Dataflow-Pipeline. Wie kann ich einen Codierer für meine benutzerdefinierten Datentypen festlegen? Die Klasse besteht aus nur drei Elementen - zwei Doppelelementen und ...
Was ist die Latenz der Streaming-Protokolldaten zwischen AWS- und Google Cloud-Diensten?
at jemand Erfahrung mit: Senden von gestreamten / mikro-gestapelten Protokolldaten von Amazon an BigQuery zur Verarbeitung und Aufklärung von Latenzproblemen?Senden von (Mikro-Batch-) Protokollen von Google DataFlow an Amazon (Kinesis / S3 / ...
Speicherprofilerstellung in Google Cloud Dataflow
Was wäre der beste Weg, um Speicherprobleme eines Datenfluss-Jobs zu beheben? Mein Job schlug mit einem GC OOM-Fehler fehl, aber wenn ich ihn lokal profiliere, kann ich die genauen Szenarien und Datenmengen nicht reproduzieren. Ich starte es ...
Schreiben der Ausgabe einer Datenfluss-Pipeline an ein partitioniertes Ziel
Wir haben eine einzige Streaming-Ereignisquelle mit Tausenden von Ereignissen pro Sekunde. Diese Ereignisse sind alle mit einer ID gekennzeichnet, die angibt, zu welchem unserer Zehntausende von Kunden das Ereignis gehört. Wir möchten diese ...
Complex Join mit Google Dataflow
Ich bin ein Neuling und versuche zu verstehen, wie wir einen Batch-ETL-Prozess in Google Dataflow neu schreiben können. Ich habe einige der Dokumente gelesen und einige Beispiele aufgeführt. Ich schlage vor, dass der neue ETL-Prozess von ...
Kann eine Datenspeichereingabe in der Google-Datenfluss-Pipeline in einem Stapel von N Einträgen gleichzeitig verarbeitet werden?
Ich versuche, einen Datenfluss-Pipeline-Job auszuführen, der eine Funktion auf @ ausführen würdN Einträge gleichzeitig vom Datenspeicher. In meinem Fall sendet diese Funktion einen Stapel von 100 Einträgen als Nutzlast an einen REST-Service. ...