Результаты поиска по запросу "parquet"

7 ответов

Авро против Паркет

1 ответ

Но в нашем случае ParquetWriter имеет только абстрактный конструктор.

ал решение этого вопроса.Мне кажется, что нет способа встроить чтение и запись формата Parquet в Java-программу без учета зависимостей от HDFS и Hadoop. Это ...

1 ответ

Spark SQL - загрузка файлов CSV / PSV с некоторыми искаженными записями

ТОП публикаций

1 ответ

Почему файлы Spark Parquet для агрегата больше исходного?

Я пытаюсь создать сводный файл для конечных пользователей, чтобы они не обрабатывали несколько источников с файлами большего размера. Для этого я: A) перебир...

1 ответ

Почему Apache Spark считывает ненужные столбцы Parquet во вложенных структурах?

Моя команда строит процесс ETL для загрузки необработанных текстовых файлов с разделителями в «озеро данных» на основе Parquet, используя Spark. Одно из обещ...

0 ответов

SparkR collect () и head () для Spark DataFrame: аргументы подразумевают различное количество строк

2 ответа

Как читать и писать Map <String, Object> из / в паркетный файл на Java или Scala?

Ищете краткий пример о том, как читать и писать

1 ответ

Все ли двоичные столбцы имеют максимальную статистику в паркете?

новной ветке спарк - я пытался записать один столбец с "a", "b", "c" в файл паркетаf1 scala> List("a", "b", "c").toDF("field1").coalesce(1).write.parquet("f1")Но сохраненный файл не имеет статистики (мин, макс) $ ls ...

1 ответ

Как избежать чтения старых файлов из S3 при добавлении новых данных?

Раз в 2 часа запускается работа spark для преобразования некоторых файлов tgz в паркет. Задание добавляет новые данные в существующий паркет в s3:

3 ответа

Каковы плюсы и минусы формата паркета по сравнению с другими форматами?