Regularmente realizo operaciones de pandas en marcos de datos de más de 15 millones de filas y me encantaría tener acceso a un indicador de progreso para operaciones particulares.

¿Existe un indicador de progreso basado en texto para las operaciones de combinar-aplicar-combinar pandas?

Por ejemplo, en algo como:

df_users.groupby(['userID', 'requestDate']).apply(feature_rollup)

dóndefeature_rollup es una función un tanto complicada que toma muchas columnas de DF y crea nuevas columnas de usuario a través de varios métodos. Estas operaciones pueden demorar un tiempo para los marcos de datos grandes, por lo que me gustaría saber si es posible tener una salida basada en texto en un cuaderno iPython que me actualice sobre el progreso.

Hasta ahora, he probado los indicadores de progreso de bucle canónico para Python, pero no interactúan con los pandas de ninguna manera significativa.

Espero que haya algo que haya pasado por alto en la biblioteca / documentación de pandas que nos permita conocer el progreso de una combinación de aplicación dividida. Una implementación simple tal vez tenga en cuenta el número total de subconjuntos de marcos de datos sobre los cuales elapply la función está funcionando e informar el progreso como la fracción completada de esos subconjuntos.

¿Es esto quizás algo que necesita ser agregado a la biblioteca?