Выход:
ы добавляете / обновляетеparquet
файл сpyarrow
?
import pandas as pd
import pyarrow as pa
import pyarrow.parquet as pq
table2 = pd.DataFrame({'one': [-1, np.nan, 2.5], 'two': ['foo', 'bar', 'baz'], 'three': [True, False, True]})
table3 = pd.DataFrame({'six': [-1, np.nan, 2.5], 'nine': ['foo', 'bar', 'baz'], 'ten': [True, False, True]})
pq.write_table(table2, './dataNew/pqTest2.parquet')
#append pqTest2 here?
В документах я ничего не нашел о добавлении файлов для паркета. И вы можете использоватьpyarrow
с многопроцессорной обработкой для вставки / обновления данных.