Próbuję skonfigurować niestandardową klasę oprogramowania pośredniczącego pobierania w programie Scrapy. Podejrzewam, że przegapiłem coś oczywistego, ale przeczytałem kilka dokumentów i nie znalazłem żadnych rozwiązań. Jestem trochę sfrustrowany tym, co powinno być niezwykle prostym zadaniem, więc miejmy nadzieję, że ktoś będzie w stanie dostarczyć mi wglądu.

Dodałem następujący wiersz do mojego pliku settings.py.

DOWNLOADER_MIDDLEWARES = { 'myproject.middlewares.TestDownloader': 400 }

Po dodaniu tej linii i uruchomieniu projektu dostałem błąd dotyczący modułów pośrednich nieistniejących. Po kilku badaniach odkryłem, że musisz dodać__init__.py plik domiddlewares folder rozpoznający Pythona. Zrobiłem to i otrzymuję następujący błąd:

NameError: Module 'myproject.middlewares' doesn't define any object named 'TestDownloader'

Plik TestDownloader.py nie jest kompilowany, podczas gdy wszystkie inne pliki * .py w projekcie są. Jeśli rozumiem poprawnie odczytanie mojego Pythona, oznacza to, że nie jest importowany nigdzie, ale nie mogę znaleźć żadnych dodatkowych ustawień Scrapy, aby zmienić to działanie.