Estoy tratando de crear un raspador web básico para los resultados de Amazon. A medida que repito los resultados, a veces llego a la página 5 (a veces solo la página 2) de los resultados y luego aStaleElementException es aventado. Cuando miro el navegador después de que se lanza la excepción, puedo ver que el controlador / página no se desplazó hacia abajo hasta donde están los números de página (barra inferior).

Mi código

driver.get('https://www.amazon.com/s/ref=nb_sb_noss_1?url=search-alias%3Daps&field-keywords=sonicare+toothbrush')

for page in range(1,last_page_number +1):

    driver.implicitly_wait(10)

    bottom_bar = driver.find_element_by_class_name('pagnCur')
    driver.execute_script("arguments[0].scrollIntoView(true);", bottom_bar)

    current_page_number = int(driver.find_element_by_class_name('pagnCur').text)

    if page == current_page_number:
        next_page = driver.find_element_by_xpath('//div[@id="pagn"]/span[@class="pagnLink"]/a[text()="{0}"]'.format(current_page_number+1))
        next_page.click()
        print('page #',page,': going to next page')
    else:
        print('page #: ', page,'error')

He visto estopregunt, y supongo que se puede aplicar una solución similar, pero no estoy seguro de cómo encontrar algo en la página que desaparezca. Además, según la rapidez con la que se producen las declaraciones de impresión, puedo ver que elimplicitly_wait(10) en realidad no está esperando 10 segundos completos.

La excepción apunta a la línea que comienza con "driver.execute_script". Esta es la excepción:

StaleElementReferenceException: Message: The element reference of <span class="pagnCur"> is stale; either the element is no longer attached to the DOM, it is not in the current frame context, or the document has been refreshed

A veces obtendré un ValueError:

ValueError: invalid literal for int() with base 10: ''

Así que estos errores / excepciones me llevan a creer que está sucediendo algo esperando que la página se actualice por completo.