У меня есть сценарий, который я написал, где я использую Beautiful Soup, чтобы очистить сайт для результатов поиска. Мне удалось изолировать данные, которые я хочу, через его имя класса.

Тем не менее, результаты поиска не на одной странице. Вместо этого они распределены по нескольким страницам, поэтому я хочу получить их все. Я хочу, чтобы мой сценарий мог проверять, есть ли следующая страница результатов, и запускаться там же. Поскольку число результатов различается, я не знаю, сколько страниц результатов существует, поэтому я не могу заранее определить диапазон для повторения. Я также попытался использовать проверку 'if_page_exists'. Однако, если я добавлю номер страницы, который выходит за пределы диапазона результатов, страница всегда существует, у нее просто нет результатов, но есть страница, которая говорит, что нет результатов для отображения.

Однако я заметил, что у каждого результата страницы есть ссылка «Далее» с идентификатором «NextLink1», а у результата последней страницы этого нет. Так что я думаю, это было волшебство. Но я не знаю, как и где осуществить эту проверку. Я получаю бесконечные циклы и прочее.

Сценарий ниже находит результаты для поискового термина «x». Помощь будет принята с благодарностью.

from urllib.request import urlopen
from bs4 import BeautifulSoup

#all_letters = ["a", "b", "c", "d", "e", "f", "g", "h", "i", "j", "k", "l", "m", "n", "o","p","q","r","s","t","u","v", "w", "x", "y", "z", "0", "1", "2", "3", "4", "5", "6", "7", "8", "9"]
all_letters= ['x']
for letter in all_letters:

    page_number = 1
    url = "https://www.co.dutchess.ny.us/CountyClerkDocumentSearch/Search.aspx?q=nco1%253d2%2526name1%253d" + letter + "&page=" + str (page_number)
    html = urlopen(url)
    bsObj = BeautifulSoup(html)
    nameList = bsObj.findAll("td", {"class":"party-name"})

    for name in nameList:
        print(name.get_text())

Кроме того, кто-нибудь знает более короткий способ создания списка буквенно-цифровых символов, который лучше, чем тот, который я закомментировал в приведенном выше сценарии?