Estou tentando criar um raspador básico da web para os resultados da Amazon. Como eu estou percorrendo os resultados, às vezes chego à página 5 (às vezes apenas na página 2) dos resultados e, em seguida, umStaleElementException é lançado. Quando olho para o navegador após a exceção ser lançada, vejo que o driver / página não rolou para baixo até onde estão os números das páginas (barra inferior

Meu código:

driver.get('https://www.amazon.com/s/ref=nb_sb_noss_1?url=search-alias%3Daps&field-keywords=sonicare+toothbrush')

for page in range(1,last_page_number +1):

    driver.implicitly_wait(10)

    bottom_bar = driver.find_element_by_class_name('pagnCur')
    driver.execute_script("arguments[0].scrollIntoView(true);", bottom_bar)

    current_page_number = int(driver.find_element_by_class_name('pagnCur').text)

    if page == current_page_number:
        next_page = driver.find_element_by_xpath('//div[@id="pagn"]/span[@class="pagnLink"]/a[text()="{0}"]'.format(current_page_number+1))
        next_page.click()
        print('page #',page,': going to next page')
    else:
        print('page #: ', page,'error')

Eu olhei para issoquestã, e acho que uma correção semelhante pode ser aplicada, mas não sei como encontrar algo na página que desaparece. Além disso, com base na rapidez com que as instruções de impressão estão ocorrendo, posso ver que oimplicitly_wait(10) não está realmente esperando 10 segundos.

A exceção está apontando para a linha que começa com "driver.execute_script". Esta é a exceção:

StaleElementReferenceException: Message: The element reference of <span class="pagnCur"> is stale; either the element is no longer attached to the DOM, it is not in the current frame context, or the document has been refreshed

s vezes, recebo um ValueError:

ValueError: invalid literal for int() with base 10: ''

Portanto, esses erros / exceções me levam a acreditar que há algo acontecendo esperando a atualização completa da págin