Результаты поиска по запросу "parquet"

3 ответа

Каковы плюсы и минусы формата паркета по сравнению с другими форматами?

1 ответ

Почему файлы Spark Parquet для агрегата больше исходного?

Я пытаюсь создать сводный файл для конечных пользователей, чтобы они не обрабатывали несколько источников с файлами большего размера. Для этого я: A) перебир...

1 ответ

Spark SQL - загрузка файлов CSV / PSV с некоторыми искаженными записями

ТОП публикаций

1 ответ

 Вы должны получить все необходимые данные.

вы создаете столбец временной метки в spark и сохраняете его в паркет, вы получаете 12-байтовый целочисленный тип столбца (int96); Я собираю данные разбиты н...

1 ответ

Но в нашем случае ParquetWriter имеет только абстрактный конструктор.

ал решение этого вопроса.Мне кажется, что нет способа встроить чтение и запись формата Parquet в Java-программу без учета зависимостей от HDFS и Hadoop. Это ...

2 ответа

Как добавить данные в существующий файл паркета

1 ответ

Создать таблицу Hive для чтения файлов паркета из схемы parquet / avro

4 ответа

Прочитайте несколько паркетных файлов одновременно в Spark

2 ответа

@Ptah, можешь поделиться, как ты разрешил лямбда-сервису доступ к S3?

аюсь загрузить, обработать и записать файлы Parquet в S3 с помощью AWS Lambda. Мой процесс тестирования / развертывания: https://github.com/lambci/docker-lambda [https://github.com/lambci/docker-lambda]в качестве контейнера для макета ...

1 ответ

Все ли двоичные столбцы имеют максимальную статистику в паркете?

новной ветке спарк - я пытался записать один столбец с "a", "b", "c" в файл паркетаf1 scala> List("a", "b", "c").toDF("field1").coalesce(1).write.parquet("f1")Но сохраненный файл не имеет статистики (мин, макс) $ ls ...