Speicherprofilerstellung in Google Cloud Dataflow

Was wäre der beste Weg, um Speicherprobleme eines Datenfluss-Jobs zu beheben?

Mein Job schlug mit einem GC OOM-Fehler fehl, aber wenn ich ihn lokal profiliere, kann ich die genauen Szenarien und Datenmengen nicht reproduzieren.

Ich starte es jetzt auf 'n1-highmem-4'-Rechnern und sehe den Fehler nicht mehr, aber der Job ist sehr langsam, also ist es offensichtlich nicht die Lösung, Rechner mit mehr RAM zu verwenden:)

Danke für jeden Rat, G

Antworten auf die Frage(2)

Ihre Antwort auf die Frage