Результаты поиска по запросу "parquet"

0 ответов

SparkR collect () и head () для Spark DataFrame: аргументы подразумевают различное количество строк

1 ответ

Spark SQL не может завершить запись данных Parquet с большим количеством фрагментов

Я пытаюсь использовать Apache Spark SQL для преобразования данных журнала JSON на S3 в файлы Parquet также на S3. Мой код в основном:

1 ответ

Можно ли загрузить паркетный стол прямо из файла?

Если у меня есть файл двоичных данных (он может быть преобразован в формат CSV), есть ли способ загрузить таблицу паркет непосредственно из него? Многие учеб...

ТОП публикаций

1 ответ

Спарк раздел намного медленнее чем без него

Я проверил написание с:

1 ответ

Создать таблицу Hive для чтения файлов паркета из схемы parquet / avro

1 ответ

Spark SQL - загрузка файлов CSV / PSV с некоторыми искаженными записями

1 ответ

Почему файлы Spark Parquet для агрегата больше исходного?

Я пытаюсь создать сводный файл для конечных пользователей, чтобы они не обрабатывали несколько источников с файлами большего размера. Для этого я: A) перебир...

1 ответ

Является ли запрос к Spark DataFrame на основе CSV быстрее, чем к Parquet?

1 ответ

Почему Apache Spark считывает ненужные столбцы Parquet во вложенных структурах?

Моя команда строит процесс ETL для загрузки необработанных текстовых файлов с разделителями в «озеро данных» на основе Parquet, используя Spark. Одно из обещ...

1 ответ

Быстрый Паркетный ряд в Spark

Файлы Parquet содержат поле количества строк для каждого блока. Спарк, кажется, читает это в какой-то момент (