Solte o quadro de dados spark do cache
Estou usando o Spark 1.3.0 com python api. Ao transformar grandes quadros de dados, eu armazeno em cache muitos DFs para uma execução mais rápida;
df1.cache()
df2.cache()
Depois que o uso de determinado dataframe termina e não é mais necessário, como posso remover o DF da memória (ou descompactá-lo?)?
Por exemplo,df1
é usado através do código enquantodf2
é utilizado para poucas transformações e, depois disso, nunca é necessário. Eu quero cair com forçadf2
para liberar mais espaço de memória.