https://chrome.google.com/webstore/detail/seerobots/hnljoiodjfgpnddiekagpbblnjedcnfp?hl=de

етил в своих журналах, что Chrome запросилrobots.txt наряду со всем, что я ожидал.

[...]
2017-09-17 15:22:35 - (sanic)[INFO]: Goin' Fast @ http://0.0.0.0:8080
2017-09-17 15:22:35 - (sanic)[INFO]: Starting worker [26704]
2017-09-17 15:22:39 - (network)[INFO][127.0.0.1:36312]: GET http://localhost:8080/  200 148
2017-09-17 15:22:39 - (sanic)[ERROR]: Traceback (most recent call last):
  File "/usr/local/lib/python3.5/dist-packages/sanic/app.py", line 493, in handle_request
    handler, args, kwargs, uri = self.router.get(request)
  File "/usr/local/lib/python3.5/dist-packages/sanic/router.py", line 307, in get
    return self._get(request.path, request.method, '')
  File "/usr/local/lib/python3.5/dist-packages/sanic/router.py", line 356, in _get
    raise NotFound('Requested URL {} not found'.format(url))
sanic.exceptions.NotFound: Requested URL /robots.txt not found

2017-09-17 15:22:39 - (network)[INFO][127.0.0.1:36316]: GET http://localhost:8080/robots.txt  404 42
[...]

Я использую Chromium:

60.0.3112.113 (Developer Build) Built on Ubuntu, running on Ubuntu 16.04 (64-bit)

Почему это происходит? Может кто-нибудь уточнить?

 zython15 янв. 2018 г., 15:53
С тех пор я переключил браузер, но я мог воспроизвести его, перезапустив сервер на моей локальной машине и отправив запрос.
 zython21 янв. 2018 г., 19:44
@MondKin это было некоторое время назад, я не думал об этом раньше (глупый я). Конечно, сегодня я проверил, какие расширения я мог бы использовать, и определил, что виновником является wappalyzer.github.com/AliasIO/Wappalyzer/blob/... если вы положите это в ответ плохо вознаградит вас щедрость
 Josh Lee15 янв. 2018 г., 13:37
Можете ли вы воспроизвести это или это просто то, что вы видели в своих журналах?
 unor18 сент. 2017 г., 00:37
Обратите внимание, что этоrobots.txtнеrobot.txt.
 Phil18 янв. 2018 г., 17:40
У вас есть метатег что-то вроде:<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

Ответы на вопрос(2)

который проверяет, определяет ли robots.txt правила для поисковых систем и т. Д. - возможно, вы установили этот плагин?

https://chrome.google.com/webstore/detail/seerobots/hnljoiodjfgpnddiekagpbblnjedcnfp?hl=de

Решение Вопроса

robots.txt файл, но одно из расширений Chrome (например,Wappalizer ты упомянул). Это объясняет, почему это произошло только в Chrome.

Чтобы точно знать, вы можете проверить вкладку «Сеть» в Chrome DevTools, чтобы узнать, в какой момент выполняется запрос, и поступает ли он из одного из ваших сценариев.

Ваш ответ на вопрос