Quero brincar com as academias da OpenAI em um notebook, com a academia sendo renderizada em linh

Aqui está um exemplo básico:

import matplotlib.pyplot as plt
import gym
from IPython import display
%matplotlib inline

env = gym.make('CartPole-v0')
env.reset()

for i in range(25):
   plt.imshow(env.render(mode='rgb_array'))
   display.display(plt.gcf())    
   display.clear_output(wait=True)
   env.step(env.action_space.sample()) # take a random action

env.close()

Isso funciona e eu vejo a academia no caderno:

Mas também abre uma janela interativa que mostra exatamente a mesma coisa. Não quero que esta janela seja aberta: