Результаты поиска по запросу "parquet"
Как прочитать файл Parquet в Pandas DataFrame?
Как прочитать набор данных Parquet небольшого размера в оперативную память Pandas DataFrame, не настраивая инфраструктуру кластерных вычислений, такую как ...
Добавлять новые данные в разделенные файлы паркета
Я пишу ETL-процесс, в котором мне нужно будет почитать почасовые журналы, разделить данные и сохранить их. Я использую Spark (в Databricks). Файлы журналов C...
Apache Drill плохая производительность
Я попытался использовать Apache-Drill для выполнения простого запроса объединения-объединения, и скорость была не очень хорошей. мой тестовый запрос был:
Как преобразовать таблицу SQL объемом 500 ГБ в Apache Parquet?
Возможно, это хорошо задокументировано, но я очень запутался, как это сделать (есть много инструментов Apache).Когда я создаю таблицу SQL, я создаю таблицу, ...
@Ptah, можешь поделиться, как ты разрешил лямбда-сервису доступ к S3?
аюсь загрузить, обработать и записать файлы Parquet в S3 с помощью AWS Lambda. Мой процесс тестирования / развертывания: https://github.com/lambci/docker-lambda [https://github.com/lambci/docker-lambda]в качестве контейнера для макета ...