Результаты поиска по запросу "parquet"

1 ответ

Является ли запрос к Spark DataFrame на основе CSV быстрее, чем к Parquet?

2 ответа

Apache Drill плохая производительность

Я попытался использовать Apache-Drill для выполнения простого запроса объединения-объединения, и скорость была не очень хорошей. мой тестовый запрос был:

1 ответ

Почему Apache Spark считывает ненужные столбцы Parquet во вложенных структурах?

Моя команда строит процесс ETL для загрузки необработанных текстовых файлов с разделителями в «озеро данных» на основе Parquet, используя Spark. Одно из обещ...

ТОП публикаций

1 ответ

Быстрый Паркетный ряд в Spark

Файлы Parquet содержат поле количества строк для каждого блока. Спарк, кажется, читает это в какой-то момент (

1 ответ

Как избежать чтения старых файлов из S3 при добавлении новых данных?

Раз в 2 часа запускается работа spark для преобразования некоторых файлов tgz в паркет. Задание добавляет новые данные в существующий паркет в s3:

2 ответа

Как преобразовать таблицу SQL объемом 500 ГБ в Apache Parquet?

Возможно, это хорошо задокументировано, но я очень запутался, как это сделать (есть много инструментов Apache).Когда я создаю таблицу SQL, я создаю таблицу, ...

1 ответ

Искра Исключение при преобразовании таблицы MySQL в паркет

Я пытаюсь преобразовать удаленную таблицу MySQL в файл паркета, используя spark 1.6.2.Процесс выполняется в течение 10 минут, заполняя память, затем начинает...

1 ответ

Но в нашем случае ParquetWriter имеет только абстрактный конструктор.

ал решение этого вопроса.Мне кажется, что нет способа встроить чтение и запись формата Parquet в Java-программу без учета зависимостей от HDFS и Hadoop. Это ...

1 ответ

 Вы должны получить все необходимые данные.

вы создаете столбец временной метки в spark и сохраняете его в паркет, вы получаете 12-байтовый целочисленный тип столбца (int96); Я собираю данные разбиты н...

1 ответ

этот ответ

аюсь прочитать файлы, присутствующие наSequence троп в скале. Ниже приведен пример (псевдо) кода: val paths = Seq[String] //Seq of paths val dataframe = spark.read.parquet(paths: _*)Теперь в приведенной выше последовательности некоторые пути ...