Как конвертировать искры SchemaRDD в RDD моего класса case?

В документах spark ясно, как создавать паркетные файлы из

Spark SQL не может завершить запись данных Parquet с большим количеством фрагментов

Я пытаюсь использовать Apache Spark SQL для преобразования данных журнала JSON на S3 в файлы Parquet также на S3. Мой код в основном:

Ошибка EntityTooLarge при загрузке файла 5G в Amazon S3

Согласно этому ограничению размер файла Amazon S3 должен быть 5Tобъявление, но я получаю следующую ошибку при загрузке файла 5G

Можно ли загрузить паркетный стол прямо из файла?

Если у меня есть файл двоичных данных (он может быть преобразован в формат CSV), есть ли способ загрузить таблицу паркет непосредственно из него? Многие учеб...

Авро против Паркет

Прочитайте несколько паркетных файлов одновременно в Spark

Как читать и писать Map <String, Object> из / в паркетный файл на Java или Scala?

Ищете краткий пример о том, как читать и писать

SparkR collect () и head () для Spark DataFrame: аргументы подразумевают различное количество строк

Как бороться с задачами, выполняющимися слишком долго (по сравнению с другими в работе) в Yarn-клиенте?

Паркет против ORC против ORC с Снейппи