Результаты поиска по запросу "parquet"
Spark SQL не может завершить запись данных Parquet с большим количеством фрагментов
Я пытаюсь использовать Apache Spark SQL для преобразования данных журнала JSON на S3 в файлы Parquet также на S3. Мой код в основном:
Можно ли загрузить паркетный стол прямо из файла?
Если у меня есть файл двоичных данных (он может быть преобразован в формат CSV), есть ли способ загрузить таблицу паркет непосредственно из него? Многие учеб...
Спарк раздел намного медленнее чем без него
Я проверил написание с:
Почему файлы Spark Parquet для агрегата больше исходного?
Я пытаюсь создать сводный файл для конечных пользователей, чтобы они не обрабатывали несколько источников с файлами большего размера. Для этого я: A) перебир...
Почему Apache Spark считывает ненужные столбцы Parquet во вложенных структурах?
Моя команда строит процесс ETL для загрузки необработанных текстовых файлов с разделителями в «озеро данных» на основе Parquet, используя Spark. Одно из обещ...
Быстрый Паркетный ряд в Spark
Файлы Parquet содержат поле количества строк для каждого блока. Спарк, кажется, читает это в какой-то момент (