¿Es posible paralelizar las llamadas get_attribute de selenio webdriver en python?
Estoy ejecutando este código
from multiprocessing.Pool import ThreadPool
from selenium import webdriver
driver = webdriver.Firefox()
driver.get(url)
elements = driver.find_elements_by_class_name("class-name")
pool = ThreadPool(4)
async = [pool.apply_async(fn_which_calls_get_attribute,(element,)) for element in elements]
results = [result.get() for result in async]
que funciona bien para algunos de los resultados, pero arroja un error deResponseNotReady para otros resultados Se ejecuta como se espera si uso "pool.apply" en lugar de la versión asíncrona.
¿Es un problema que estoy haciendo varias llamadas al controlador de selenio a la vez, y el error se debe a que no puede manejarlo? ¿O hay algo mal con mi paralelización?