Результаты поиска по запросу "parquet"
Можно ли загрузить паркетный стол прямо из файла?
Если у меня есть файл двоичных данных (он может быть преобразован в формат CSV), есть ли способ загрузить таблицу паркет непосредственно из него? Многие учеб...
Spark SQL не может завершить запись данных Parquet с большим количеством фрагментов
Я пытаюсь использовать Apache Spark SQL для преобразования данных журнала JSON на S3 в файлы Parquet также на S3. Мой код в основном:
Искра Исключение: не удалось выполнить задачу при записи строк
Я читаю текстовые файлы и преобразовываю их в паркетные файлы. Я делаю это с использованием искрового кода. Но когда я пытаюсь запустить код, я получаю следу...
Почему файлы Spark Parquet для агрегата больше исходного?
Я пытаюсь создать сводный файл для конечных пользователей, чтобы они не обрабатывали несколько источников с файлами большего размера. Для этого я: A) перебир...
Как конвертировать искры SchemaRDD в RDD моего класса case?
В документах spark ясно, как создавать паркетные файлы из
Добавлять новые данные в разделенные файлы паркета
Я пишу ETL-процесс, в котором мне нужно будет почитать почасовые журналы, разделить данные и сохранить их. Я использую Spark (в Databricks). Файлы журналов C...
Выход:
ы добавляете / обновляетеparquet файл сpyarrow? import pandas as pd import pyarrow as pa import pyarrow.parquet as pq table2 = pd.DataFrame({'one': [-1, np.nan, 2.5], 'two': ['foo', 'bar', 'baz'], 'three': [True, False, True]}) table3 = ...
Как прочитать файл Parquet в Pandas DataFrame?
Как прочитать набор данных Parquet небольшого размера в оперативную память Pandas DataFrame, не настраивая инфраструктуру кластерных вычислений, такую как ...