Ich führe regelmäßig Pandas-Operationen mit Datenrahmen aus, die mehr als 15 Millionen Zeilen umfassen, und ich hätte gerne Zugriff auf eine Fortschrittsanzeige für bestimmte Operationen.

Gibt es eine textbasierte Fortschrittsanzeige für Pandas Split-Apply-Combine-Vorgänge?

Zum Beispiel in etwas wie:

df_users.groupby(['userID', 'requestDate']).apply(feature_rollup)

woherfeature_rollup ist eine etwas komplizierte Funktion, die viele DF-Spalten benötigt und mit verschiedenen Methoden neue Benutzerspalten erstellt. Diese Vorgänge können bei großen Datenrahmen eine Weile dauern, daher möchte ich wissen, ob eine textbasierte Ausgabe in einem iPython-Notizbuch möglich ist, mit der ich über den Fortschritt informiert werde.

Bisher habe ich kanonische Loop-Fortschrittsindikatoren für Python ausprobiert, aber sie interagieren nicht auf sinnvolle Weise mit Pandas.

Ich hoffe, dass es etwas gibt, das ich in der Pandas-Bibliothek / Dokumentation übersehen habe, das es einem ermöglicht, den Fortschritt eines Split-Apply-Mähdreschers zu kennen. Eine einfache Implementierung würde sich möglicherweise mit der Gesamtzahl der Datenrahmen-Teilmengen befassen, auf denen dieapply Die Funktion arbeitet und meldet den Fortschritt als den vollständigen Bruchteil dieser Teilmengen.

Ist dies möglicherweise etwas, das der Bibliothek hinzugefügt werden muss?