я прохожу через ряд страниц, и яЯ не уверен, сколько их, но текущая страница представлена простым числом, присутствующим в URL (например, "http://www.website.com/page/1" )

Я хотел бы использовать цикл for в scrapy, чтобы увеличить текущее предположение на странице и остановиться, когда оно достигнет 404. Я знаю, что ответ, который возвращается на запрос, содержит эту информацию, но я 'Я не уверен, как автоматически получить ответ на запрос.

Есть идеи, как это сделать?

В настоящее время мой код выглядит примерно так:

def start_requests(self):
    baseUrl = "http://website.com/page/"
    currentPage = 0
    stillExists = True
    while(stillExists):
        currentUrl = baseUrl + str(currentPage)
        test = Request(currentUrl)
        if test.response.status != 404: #This is what I'm not sure of
            yield test
            currentPage += 1
        else:
            stillExists = False