stoy tratando de rastrear el sitio web, que es lo suficientemente sofisticado como para detener los bots, quiero decir que solo permite algunas solicitudes, después de que Scrapy se cuelgu

Pregunta 1: ¿hay alguna manera de que, si Scrapy se cuelga, pueda reiniciar mi proceso de rastreo desde el mismo punto? Para deshacerme de este problema, escribí mi archivo de configuración como este

BOT_NAME = 'MOZILLA'
BOT_VERSION = '7.0'

SPIDER_MODULES = ['yp.spiders']
NEWSPIDER_MODULE = 'yp.spiders'
DEFAULT_ITEM_CLASS = 'yp.items.YpItem'
USER_AGENT = '%s/%s' % (BOT_NAME, BOT_VERSION)

DOWNLOAD_DELAY = 0.25
DUPEFILTER=True
COOKIES_ENABLED=False
RANDOMIZE_DOWNLOAD_DELAY=True
SCHEDULER_ORDER='BFO'

Este es mi programa:

class ypSpider(CrawlSpider):

   name = "yp"


   start_urls = [
       SOME URL

   ]
   rules=(
      #These are some rules
   )
   def parse_item(self, response):
   ####################################################################
   #cleaning the html page by removing scripts html tags    
   #######################################################
   hxs=HtmlXPathSelector(response)

La pregunta es dónde podría escribir los proxies http y si debo importar cualquier clase relacionada con tor, soy nuevo en Scrapy debido a este grupo que aprendí mucho, ahora estoy tratando de aprender "cómo usar la rotación ip o tor '

omo sugirió uno de nuestros miembros, comencé tor y configuré HTTP_PROXY en

set http_proxy=http://localhost:8118

pero arroja algunos errores,

failure with no frames>: class 'twisted.internet.error.ConnectionRefusedError'   Connection was refused by other side 10061: No connection could be made because the target machine actively refused it.

Así que cambié http_proxy a

set http_proxy=http://localhost:9051

Ahora el error es

failure with no frames>: class 'twisted.internet.error.ConnectionDone' connection was closed cleanly.

Verifiqué la configuración de red de Firefox, allí no pude ver ningún proxy http pero en lugar de eso está usando SOCKSV5, allí muestra 127.0.0.1:9051. (antes de TOR funciona sin proxy) Por favor, ayúdame. Todavía no entiendo cómo usar TOR a través de Scrapy. ¿Qué paquete de TOR se supone que debo usar y cómo? Espero que mis dos preguntas se resuelvan

Si un rastreador inestable se cuelga por algún motivo (error de conexión), me gustaría reanudar el servicio desde allí mismoCómo usar IP rotativas en Scrapy