Утечка памяти при использовании pandas dataframe
я используюpandas.DataFrame
в многопоточном коде (на самом деле пользовательский подклассDataFrame
называетсяSound
). Я заметил, что у меня есть утечка памяти, так как использование памяти моей программой постепенно увеличивается в течение 10 минут, чтобы в итоге достигнуть ~ 100% памяти моего компьютера и сбоя.
я использовалobjgraph попытаться отследить эту утечку, и обнаружил, что количество экземпляровMyDataFrame
поднимается все время, пока не должнот: каждая нить в своемrun
Метод создает экземпляр, производит некоторые вычисления, сохраняет результат в файл и завершает работу ... поэтому ссылки не должны сохраняться.
С помощьюobjgraph
Я обнаружил, что все кадры данных в памяти имеют похожий граф ссылок:
Я понятия не имею, если этонормально или нет ... похоже, это то, что хранит мои объекты в памяти. Любая идея, совет, понимание?