Eu tenho um script que eu escrevi onde eu uso Beautiful Soup para raspar um site para obter resultados de pesquisa. Eu consegui isolar os dados que eu quero através do nome da classe.

No entanto, os resultados da pesquisa não estão em uma única página. Em vez disso, eles estão espalhados por várias páginas, então eu quero pegá-los todos. Quero fazer com que meu script seja capaz de verificar se há uma próxima página de resultados e executar-se nela também. Como os resultados variam em número, não sei quantas páginas de resultados existem; portanto, não posso predefinir um intervalo para repetir. Eu também tentei usar uma verificação 'if_page_exists'. No entanto, se eu colocar um número de página que esteja fora dos intervalos de resultados, a página sempre existe, ela simplesmente não tem nenhum resultado, mas tem uma página que diz que não há resultados para exibir.

O que eu notei, no entanto, é que cada resultado da página tem um link 'Next' com o ID 'NextLink1' e o resultado da última página não possui isso. Então eu acho que essa seria a mágica. Mas eu não sei como e onde implementar essa verificação. Eu tenho recebido loops infinitos e outras coisas.

O script abaixo encontra os resultados para o termo de pesquisa 'x'. A assistência seria muito apreciada.

from urllib.request import urlopen
from bs4 import BeautifulSoup

#all_letters = ["a", "b", "c", "d", "e", "f", "g", "h", "i", "j", "k", "l", "m", "n", "o","p","q","r","s","t","u","v", "w", "x", "y", "z", "0", "1", "2", "3", "4", "5", "6", "7", "8", "9"]
all_letters= ['x']
for letter in all_letters:

    page_number = 1
    url = "https://www.co.dutchess.ny.us/CountyClerkDocumentSearch/Search.aspx?q=nco1%253d2%2526name1%253d" + letter + "&page=" + str (page_number)
    html = urlopen(url)
    bsObj = BeautifulSoup(html)
    nameList = bsObj.findAll("td", {"class":"party-name"})

    for name in nameList:
        print(name.get_text())

Além disso, alguém conhece uma maneira mais curta de instanciar uma lista de caracteres alfanuméricos melhor do que a que eu comentei no script acima?