Я создаю сайт, на котором будут проверяться политики конфиденциальности сотен тысяч других сайтов в Интернете. Его первоначальное содержание основано на моем пробежке через CommonCrawl Веб-дамп на 5 миллиардов страниц и анализ всех политик конфиденциальности со сценарием, чтобы определить определенные характеристики (например, «продает вашу личную информацию»).

СогласноSEO MOZ Руководство для начинающих по SEO:

еханизмы поиска @ имеют тенденцию сканировать только около 100 ссылок на любой странице. Это свободное ограничение необходимо, чтобы сдерживать спам и сохранять рейтинг.

Мне было интересно, что было бы разумным способом создать сеть навигации, которая не оставляла бы страницы без внимания, но все же избежала бы такого наказания за SEO, о котором они говорят. У меня есть несколько идей:

Создавать алфавитные страницы (или Google Sitemap .xml), например "Сайты, начинающиеся с Ado *". И там будет ссылка на «Adobe.com», например. Это или любое другое бессмысленное разделение страниц кажется надуманным, и мне интересно, не понравится ли это Google. Использование мета-ключевых слов или описаний для классификации Найдите способ применить более интересные категории, например, географические или контентные. Меня беспокоит то, что я не уверен, каким образом я смогу применить такие категории по всем направлениям ко многим сайтам. Я полагаю, что в случае необходимости я мог бы написать другой классификатор, чтобы попытаться проанализировать содержание страниц из сканирования. Звучит как большая работа сама по себе. Используйте проект DMOZ, чтобы классифицировать страницы.

Wikipedia и StackOverflow, очевидно, очень хорошо решили эту проблему, позволив пользователям классифицировать или маркировать все страницы. В моем случае у меня нет такой роскоши, но я хочу найти лучший вариант.

В основе этого вопроса лежит реакция Google на различные структуры навигации. Наказывает ли это тех, кто создает сеть страниц программным / бессмысленным способом? Или это все равно, если все связано по ссылкам?