У меня есть пример приложения, работающего для чтения из файлов CSV в кадре данных. Фрейм данных может быть сохранен в таблице Hive в формате паркета, используя методdf.saveAsTable(tablename,mode).

Приведенный выше код работает нормально, но у меня есть так много данных за каждый день, что я хочу динамически разбивать таблицу кустов на основе даты создания (столбец в таблице).

Есть ли способ динамического разделения данных и сохранения их в хранилище кустов. Хотите воздержаться от жесткого кодирования оператора вставки, используяhivesqlcontext.sql(insert into table partittioin by(date)....).

Вопрос можно рассматривать как продолжение к:Как сохранить DataFrame непосредственно в Hive?

Буду признателен за любую оказанную помощь.