Результаты поиска по запросу "parquet"

1 ответ

этот ответ

аюсь прочитать файлы, присутствующие наSequence троп в скале. Ниже приведен пример (псевдо) кода: val paths = Seq[String] //Seq of paths val dataframe = spark.read.parquet(paths: _*)Теперь в приведенной выше последовательности некоторые пути ...

1 ответ

Искра Исключение при преобразовании таблицы MySQL в паркет

Я пытаюсь преобразовать удаленную таблицу MySQL в файл паркета, используя spark 1.6.2.Процесс выполняется в течение 10 минут, заполняя память, затем начинает...

1 ответ

Spark SQL не может завершить запись данных Parquet с большим количеством фрагментов

Я пытаюсь использовать Apache Spark SQL для преобразования данных журнала JSON на S3 в файлы Parquet также на S3. Мой код в основном:

ТОП публикаций

2 ответа

Apache Drill плохая производительность

Я попытался использовать Apache-Drill для выполнения простого запроса объединения-объединения, и скорость была не очень хорошей. мой тестовый запрос был:

2 ответа

@Ptah, можешь поделиться, как ты разрешил лямбда-сервису доступ к S3?

аюсь загрузить, обработать и записать файлы Parquet в S3 с помощью AWS Lambda. Мой процесс тестирования / развертывания: https://github.com/lambci/docker-lambda [https://github.com/lambci/docker-lambda]в качестве контейнера для макета ...

5 ответов

Паркет против ORC против ORC с Снейппи

7 ответов

Авро против Паркет

1 ответ

Все ли двоичные столбцы имеют максимальную статистику в паркете?

новной ветке спарк - я пытался записать один столбец с "a", "b", "c" в файл паркетаf1 scala> List("a", "b", "c").toDF("field1").coalesce(1).write.parquet("f1")Но сохраненный файл не имеет статистики (мин, макс) $ ls ...

3 ответа

Каковы плюсы и минусы формата паркета по сравнению с другими форматами?

2 ответа

Как добавить данные в существующий файл паркета