@JebaseelanRavi, не могли бы вы опубликовать полный трекбек на своего рода пастбине или открыть новый вопрос и вставить его туда? Я никогда не видел эту ошибку раньше :)
ользую scrapy для получения сообщения (url) из RabbitMQ, но когда я использую yield для вызова метода parse, передавая мой url в качестве параметров. Программа не входит в метод обратного вызова. Ниже приведен следующий код моего паук
# -*- coding: utf-8 -*-
import scrapy
import pika
from scrapy import cmdline
import json
class MydeletespiderSpider(scrapy.Spider):
name = 'Mydeletespider'
allowed_domains = []
start_urls = []
def callback(self,ch, method, properties, body):
print(" [x] Received %r" % body)
body=json.loads(body)
url=body.get('url')
yield scrapy.Request(url=url,callback=self.parse)
def start_requests(self):
cre = pika.PlainCredentials('test', 'test')
connection = pika.BlockingConnection(
pika.ConnectionParameters(host='10.0.12.103', port=5672, credentials=cre, socket_timeout=60))
channel = connection.channel()
channel.basic_consume(self.callback,
queue='Deletespider_Batch_Test',
no_ack=True)
print(' [*] Waiting for messages. To exit press CTRL+C')
channel.start_consuming()
def parse(self, response):
print response.url
pass
cmdline.execute('scrapy crawl Mydeletespider'.split())
Моя цель - передать URL-адрес методу разбора.