Веб-сайты, которые особенно трудно сканировать и сканировать? [закрыто]

Я заинтересован в общедоступных сайтах (ничего за логином / аутентификацией), которые имеют такие вещи:

Высокое использование внутренних 301 и 302 редиректовПротивоскребающие меры (но не запрещающие сканеры через robots.txt)Несемантическая или неверная разметкаКонтент, загружаемый через AJAX в виде кликов или бесконечной прокруткиМного параметров, используемых в URLКанонические проблемыЗапутанная внутренняя структура связии все остальное, что обычно делает сканирование сайта головной болью!

Я создал сканер / паук, который выполняет ряд анализов на веб-сайте, и я в поисках сайтов, которые заставят его бороться.

Ответы на вопрос(1)

Ваш ответ на вопрос