Suchergebnisse für Anfrage "google-cloud-dataflow"
Wie behebe ich Datenfluss, der meine DoFn nicht serialisieren kann?
Wenn ich meine Dataflow-Pipeline starte, wird die folgende Ausnahme angezeigt: Mein DoFn kann nicht serialisiert werden. Wie behebe ich das? Hier ist der Stack-Trace: Caused by: java.lang.IllegalArgumentException: unable to ...
Headerzeilen überspringen - ist das mit Cloud DataFlow möglich?
Ich habe eine Pipeline erstellt, die aus einer Datei in GCS liest, diese transformiert und schließlich in eine BQ-Tabelle schreibt. Die Datei enthält eine Kopfzeile (Felder). Gibt es eine Möglichkeit, die "Anzahl der zu überspringenden ...
Wie erhalte ich den Dateinamen, wenn ich den Dateimustervergleich in Google-Cloud-Dataflow verwende?
Weiß jemand, wie man den Dateinamen abruft, wenn der Dateimusterabgleich im Google-Cloud-Datenfluss verwendet wird? Ich bin Neuling, um Datenfluss zu verwenden. So erhalten Sie den Dateinamen, wenn Sie die Datei patten match ...
Ergebnisse der Google-Datenfluss-Pipeline in mehrere Senken schreiben
Ich möchte die Ergebnisse der Google-Datenfluss-Pipeline in mehrere Senken schreiben. Wie ich möchte das Ergebnis mit TextIO in Google Cloud Storage schreiben und die Ergebnisse als Tabelle in BigQuery schreiben. Wie kann ich das machen
Wie schreibe ich ein Schema, das während der Ausführung derselben Dataflow-Pipeline berechnet wurde, in BigQuery?
Mein Szenario ist eine Variation des hier diskutierten:Wie schreibe ich mit einem Schema, das während der Ausführung von Dataflow berechnet wurde, ...
detectClassPathResourcesToStage - URL kann nicht konvertiert werden
Wenn ich das Glas im GCE laufen lasse, hatte es den folgenden Fehler: java -jar mySimple.jar --project = myProjcet Aug 13, 2015 1:22:26 AM com.google.cloud.dataflow.sdk.runners.DataflowPipelineRunner detectClassPathResourcesToStage SEVERE: ...
Benutzerdefinierte Codierer einstellen und parametrisierte Typen handhaben
Ich habe zwei Fragen im Zusammenhang mit Codierungsproblemen mit meiner Dataflow-Pipeline. Wie kann ich einen Codierer für meine benutzerdefinierten Datentypen festlegen? Die Klasse besteht aus nur drei Elementen - zwei Doppelelementen und ...
Was ist die Latenz der Streaming-Protokolldaten zwischen AWS- und Google Cloud-Diensten?
at jemand Erfahrung mit: Senden von gestreamten / mikro-gestapelten Protokolldaten von Amazon an BigQuery zur Verarbeitung und Aufklärung von Latenzproblemen?Senden von (Mikro-Batch-) Protokollen von Google DataFlow an Amazon (Kinesis / S3 / ...
Speicherprofilerstellung in Google Cloud Dataflow
Was wäre der beste Weg, um Speicherprobleme eines Datenfluss-Jobs zu beheben? Mein Job schlug mit einem GC OOM-Fehler fehl, aber wenn ich ihn lokal profiliere, kann ich die genauen Szenarien und Datenmengen nicht reproduzieren. Ich starte es ...
Schreiben der Ausgabe einer Datenfluss-Pipeline an ein partitioniertes Ziel
Wir haben eine einzige Streaming-Ereignisquelle mit Tausenden von Ereignissen pro Sekunde. Diese Ereignisse sind alle mit einer ID gekennzeichnet, die angibt, zu welchem unserer Zehntausende von Kunden das Ereignis gehört. Wir möchten diese ...