Я регулярно выполняю операции pandas над фреймами данных, длина которых превышает 15 миллионов строк, и я хотел бы получить доступ к индикатору прогресса для определенных операций.

Существует ли текстовый индикатор прогресса для операций pandas split-apply-Объединить?

Например, что-то вроде:

df_users.groupby(['userID', 'requestDate']).apply(feature_rollup)

гдеfeature_rollup это несколько сложная функция, которая принимает много столбцов DF и создает новые пользовательские столбцы с помощью различных методов. Эти операции могут занять некоторое время для больших фреймов данных, поэтому я хотел бы знать, возможно ли иметь текстовый вывод в записной книжке iPython, который информирует меня о ходе работы.

До сих пор я пробовал индикаторы прогресса канонического цикла для Python, но они не взаимодействуют с пандами каким-либо значимым образом.

Я надеюсь, что есть кое-что, что я упустил из библиотеки / документации панд, что позволяет узнать о прогрессе разделения-применения-объединения. Простая реализация, возможно, будет рассматривать общее количество подмножеств фреймов данных, на которыхapply функция работает и сообщает о прогрессе как завершенную часть этих подмножеств.

Возможно, это то, что нужно добавить в библиотеку?