Scrapy-Crawl vom Skript blockiert immer die Skriptausführung nach dem Scraping
Ich folge dieser Anleitunghttp://doc.scrapy.org/de/0.16/topics/practices.html#run-scrapy-from-a-script Scrapy aus meinem Skript ausführen. Hier ist ein Teil meines Skripts:
crawler = Crawler(Settings(settings))
crawler.configure()
spider = crawler.spiders.create(spider_name)
crawler.crawl(spider)
crawler.start()
log.start()
reactor.run()
print "It can't be printed out!"
Es funktioniert daran sollte: besucht Seiten, kratzt benötigte Informationen und speichert die Ausgabe json, wo ich es gesagt habe (via FEED_URI). Aber wenn Spider seine Arbeit beendet hat (ich sehe es an der Nummer in der Ausgabe von json), würde die Ausführung meines Skripts nicht fortgesetzt. Wahrscheinlich ist es kein Scrapy-Problem. Und irgendwo in Twisted's Reaktor sollte eine Antwort sein. Wie kann ich die Thread-Ausführung freigeben?