Результаты поиска по запросу "parquet"
Добавлять новые данные в разделенные файлы паркета
Я пишу ETL-процесс, в котором мне нужно будет почитать почасовые журналы, разделить данные и сохранить их. Я использую Spark (в Databricks). Файлы журналов C...
Apache Drill плохая производительность
Я попытался использовать Apache-Drill для выполнения простого запроса объединения-объединения, и скорость была не очень хорошей. мой тестовый запрос был:
Spark SQL не может завершить запись данных Parquet с большим количеством фрагментов
Я пытаюсь использовать Apache Spark SQL для преобразования данных журнала JSON на S3 в файлы Parquet также на S3. Мой код в основном:
Все ли двоичные столбцы имеют максимальную статистику в паркете?
новной ветке спарк - я пытался записать один столбец с "a", "b", "c" в файл паркетаf1 scala> List("a", "b", "c").toDF("field1").coalesce(1).write.parquet("f1")Но сохраненный файл не имеет статистики (мин, макс) $ ls ...
Спарк раздел намного медленнее чем без него
Я проверил написание с:
Как прочитать файл Parquet в Pandas DataFrame?
Как прочитать набор данных Parquet небольшого размера в оперативную память Pandas DataFrame, не настраивая инфраструктуру кластерных вычислений, такую как ...
Можно ли загрузить паркетный стол прямо из файла?
Если у меня есть файл двоичных данных (он может быть преобразован в формат CSV), есть ли способ загрузить таблицу паркет непосредственно из него? Многие учеб...
И для вашего удобства весь исходный код:
но у меня появилось требование, в котором мне нужно было генерировать файлы Parquet, которые могли бы быть прочитаны Apache Spark с использованием только Java (без дополнительных установок программного обеспечения, таких как: Apache Drill, Hive, ...