ETL & Analysieren von CSV-Dateien in Cloud Dataflow

Ich bin neu in Cloud-Datenfluss und Java und hoffe, dass dies die richtige Frage ist.

Ich habe eine CSV-Datei mit n Spalten und Zeilen, die ein String, eine Ganzzahl oder ein Zeitstempel sein können. Muss ich für jede Spalte eine neue PCollection erstellen?

Der größte Teil der Dokumentation, die ich in Beispielen gefunden habe, ist in etwa so aufgebaut:

PCollection<String> data = p.apply(TextIO.Read.from("gs://abc/def.csv"));

Aber für mich ist es nicht sinnvoll, eine ganze CSV-Datei als String zu importieren. Was fehlt mir hier und wie soll ich meine PC-Sammlungen einrichten?

Antworten auf die Frage(4)

Ihre Antwort auf die Frage