Quiero jugar con los gimnasios de OpenAI en un cuaderno, con el gimnasio en línea.

Aquí hay un ejemplo básico:

import matplotlib.pyplot as plt
import gym
from IPython import display
%matplotlib inline

env = gym.make('CartPole-v0')
env.reset()

for i in range(25):
   plt.imshow(env.render(mode='rgb_array'))
   display.display(plt.gcf())    
   display.clear_output(wait=True)
   env.step(env.action_space.sample()) # take a random action

env.close()

Esto funciona, y veo el gimnasio en el cuaderno:

¡Pero también abre una ventana interactiva que muestra exactamente lo mismo. @ No quiero que esta ventana esté abierta: