Индикатор прогресса во время операций с пандами (питон)

Я регулярно выполняю операции pandas над фреймами данных, превышающими 15 миллионов строк, и яЯ хотел бы иметь доступ к индикатору прогресса для конкретных операций.

Существует ли текстовый индикатор прогресса для операций pandas split-apply-Объединить?

Например, что-то вроде:

df_users.groupby(['userID', 'requestDate']).apply(feature_rollup)

гдеfeature_rollup это несколько сложная функция, которая принимает много столбцов DF и создает новые пользовательские столбцы с помощью различных методов. Эти операции могут занять некоторое время для больших кадров данных, поэтому яЯ хотел бы знать, возможно ли иметь текстовый вывод в записной книжке iPython, который информирует меня о прогрессе.

Пока что япробовали индикаторы прогресса канонического цикла для Python, но они неЯ не могу взаимодействовать с пандами каким-либо осмысленным образом.

я надеюсь на эточто-то яВ библиотеке / документации pandas мы упустили из виду, что это позволяет узнать о прогрессе разделения-применения-объединения. Простая реализация, возможно, будет рассматривать общее количество подмножеств фреймов данных, на которыхapply функция работает и сообщает о прогрессе как завершенную часть этих подмножеств.

Возможно, это то, что нужно добавить в библиотеку?

Ответы на вопрос(6)

Ваш ответ на вопрос