Выход:

ы добавляете / обновляетеparquet файл сpyarrow?

import pandas as pd
import pyarrow as pa
import pyarrow.parquet as pq


 table2 = pd.DataFrame({'one': [-1, np.nan, 2.5], 'two': ['foo', 'bar', 'baz'], 'three': [True, False, True]})
 table3 = pd.DataFrame({'six': [-1, np.nan, 2.5], 'nine': ['foo', 'bar', 'baz'], 'ten': [True, False, True]})


pq.write_table(table2, './dataNew/pqTest2.parquet')
#append pqTest2 here?  

В документах я ничего не нашел о добавлении файлов для паркета. И вы можете использоватьpyarrow с многопроцессорной обработкой для вставки / обновления данных.

Ответы на вопрос(3)

Ваш ответ на вопрос