Suchergebnisse für Anfrage "gz"
So lesen Sie gz-Dateien in Spark mit wholeTextFiles
Ich habe einen Ordner, der viele kleine .gz-Dateien (komprimierte CSV-Textdateien) enthält. Ich muss sie in meinem Spark-Job lesen, aber die Sache ist, dass ich eine Verarbeitung basierend auf Informationen im Dateinamen durchführen muss. Deshalb ...
Ich möchte ein Skript zum Entpacken (.tar.gz) von Dateien über (Python) erstellen
Ich versuche, ein Skript zum Entpacken aller .tar.gz-Dateien aus Ordnern in einem Verzeichnis zu erstellen. Zum Beispiel werde ich eine Datei haben, die es aufruft (testing.tar.gz). Wenn ich es dann manuell mache, kann ich drücken, um "hierher ...
Wie entpacke ich .gz-Dateien in ein neues Verzeichnis in hadoop?
Ich habe eine Reihe von .gz-Dateien in einem Ordner in hdfs. Ich möchte alle diese .gz-Dateien in einen neuen Ordner in hdfs entpacken. Wie soll ich das machen?
Spark: Unterschied beim Einlesen von .gz und .bz2
Normalerweise lese und schreibe ich Dateien in Spark mit .gz, wobei die Anzahl der Dateien der Anzahl der RDD-Partitionen entsprechen sollte. Das heißt Eine riesige .gz-Datei wird in eine einzelne Partition eingelesen. Wenn ich jedoch eine ...
Fehler in gzfile (Datei, "wb"): Die Verbindung oder komprimierte Datei kann nicht geöffnet werden
Ich versuche zwei Dinge auszuführen: erstens erstelle ich ein PDF mit 4x5, ende mit dev.off () und versuche dann, ein neues Diagramm zu erstellen. Nach dem S...
Wie lese ich eine .gz-Datei zeilenweise in C ++?
Ich habe eine 3-Terabyte-GZ-Datei und möchte deren unkomprimierten Inhalt zeilenweise in einem C ++ - Programm lesen. Da die Datei ziemlich groß ist, möchte ich vermeiden, sie vollständig in den Speicher zu laden. Kann jemand ein einfaches ...