Результаты поиска по запросу "parquet"

2 ответа

Добавлять новые данные в разделенные файлы паркета

Я пишу ETL-процесс, в котором мне нужно будет почитать почасовые журналы, разделить данные и сохранить их. Я использую Spark (в Databricks). Файлы журналов C...

2 ответа

Apache Drill плохая производительность

Я попытался использовать Apache-Drill для выполнения простого запроса объединения-объединения, и скорость была не очень хорошей. мой тестовый запрос был:

1 ответ

Spark SQL не может завершить запись данных Parquet с большим количеством фрагментов

Я пытаюсь использовать Apache Spark SQL для преобразования данных журнала JSON на S3 в файлы Parquet также на S3. Мой код в основном:

ТОП публикаций

3 ответа

Каковы плюсы и минусы формата паркета по сравнению с другими форматами?

1 ответ

Все ли двоичные столбцы имеют максимальную статистику в паркете?

новной ветке спарк - я пытался записать один столбец с "a", "b", "c" в файл паркетаf1 scala> List("a", "b", "c").toDF("field1").coalesce(1).write.parquet("f1")Но сохраненный файл не имеет статистики (мин, макс) $ ls ...

1 ответ

Является ли запрос к Spark DataFrame на основе CSV быстрее, чем к Parquet?

1 ответ

Спарк раздел намного медленнее чем без него

Я проверил написание с:

2 ответа

Как прочитать файл Parquet в Pandas DataFrame?

Как прочитать набор данных Parquet небольшого размера в оперативную память Pandas DataFrame, не настраивая инфраструктуру кластерных вычислений, такую ​​как ...

1 ответ

Можно ли загрузить паркетный стол прямо из файла?

Если у меня есть файл двоичных данных (он может быть преобразован в формат CSV), есть ли способ загрузить таблицу паркет непосредственно из него? Многие учеб...

1 ответ

И для вашего удобства весь исходный код:

но у меня появилось требование, в котором мне нужно было генерировать файлы Parquet, которые могли бы быть прочитаны Apache Spark с использованием только Java (без дополнительных установок программного обеспечения, таких как: Apache Drill, Hive, ...