Suchergebnisse für Anfrage "google-cloud-dataflow"
ETL & Analysieren von CSV-Dateien in Cloud Dataflow
Ich bin neu in Cloud-Datenfluss und Java und hoffe, dass dies die richtige Frage ist. Ich habe eine CSV-Datei mit n Spalten und Zeilen, die ein String, eine Ganzzahl oder ein Zeitstempel sein können. Muss ich für jede Spalte eine neue ...
Wie erhalte ich den maximalen Zeitstempel des aktuellen Schiebefensters?
Ich verwende ein gleitendes Zeitfenster mit X-Größe und Y-Periode. Um die Ausgabe jedes Fensters zu markieren, möchte ich den Zeitstempel des aktuellen Fensters von PCollection erhalten. PCollection<T> windowedInput = input ...
Complex Join mit Google Dataflow
Ich bin ein Neuling und versuche zu verstehen, wie wir einen Batch-ETL-Prozess in Google Dataflow neu schreiben können. Ich habe einige der Dokumente gelesen und einige Beispiele aufgeführt. Ich schlage vor, dass der neue ETL-Prozess von ...
Duplikate über Fenster hinweg entfernen Trigger / Brände
Nehmen wir an, ich habe eine unbegrenzte Sammlung von Sätzen, die von userid eingegeben wurden, und ich möchte einen ständig aktualisierten Wert dafür, ob der Benutzer ärgerlich ist. Wir können berechnen, ob ein Benutzer ärgerlich ist, indem wir ...
Ergebnisse der Google-Datenfluss-Pipeline in mehrere Senken schreiben
Ich möchte die Ergebnisse der Google-Datenfluss-Pipeline in mehrere Senken schreiben. Wie ich möchte das Ergebnis mit TextIO in Google Cloud Storage schreiben und die Ergebnisse als Tabelle in BigQuery schreiben. Wie kann ich das machen
Wie lade ich Daten aus Google BigQuery in Google Cloud Bigtable?
Ich muss Daten in Google Cloud Bigtable einfügen und die Datenquelle ist Google BigQuery. ls Übung kann ichLesen Sie die Daten von ...
Ist es möglich, einen benutzerdefinierten Computer für Dataflow-Instanzen zu verwenden?
Ich habe gelesen Erstellen-Instanz-mit-benutzerdefinierten-Maschinentyp [https://cloud.google.com/compute/docs/instances/creating-instance-with-custom-machine-type] und Es scheint wirklich interessant zu sein, aber ich weiß nicht, wie ich ...
Kann Google Cloud-Datenfluss (Apache Beam) verwenden, um Video- oder Bilddaten zu verarbeiten ffmpeg
Kann ein Datenflussprozess mit ffmpeg Videos oder Bilder verarbeiten und wenn ja, wie würde ein Beispiel-Workflow aussehen?
Lesen Sie mehrere .gz-Dateien und identifizieren Sie, welche Zeile zu welcher Datei gehört
Ich lese mehrere .gz-Dateien, die mit Google Data Flow verarbeitet werden sollen. Endziel der Daten ist BigQuery. Die BigQuery-Tabelle enthält dedizierte Spalten für jede Spalte in der CSV-Datei in der GZ-Datei. Es gibt eine zusätzliche Spalte in ...
Erkennen von Änderungen des Tastenzustands
Ich bin neu im Dataflow-Programmiermodell und habe Probleme, mich mit dem zu befassen, was meiner Meinung nach ein einfacher Anwendungsfall sein sollte: Ich habe eine Pipeline, die Live-Daten von Pub / Sub liest. Diese Daten enthalten ...