É possível paralelizar chamadas get_attribute do selenium webdriver em python?
Estou executando este código
from multiprocessing.Pool import ThreadPool
from selenium import webdriver
driver = webdriver.Firefox()
driver.get(url)
elements = driver.find_elements_by_class_name("class-name")
pool = ThreadPool(4)
async = [pool.apply_async(fn_which_calls_get_attribute,(element,)) for element in elements]
results = [result.get() for result in async]
que funciona bem para alguns dos resultados, mas gera um erro deResponseNotReady para outros resultados. É executado como esperado se eu usar "pool.apply" em vez da versão assíncrona.
É um problema que estou fazendo várias chamadas para o driver selenium de uma só vez e o erro ocorre porque ele não pode lidar com isso? Ou há algo errado com a minha paralelização?