Conectando> 100 mil páginas sem ter o SEO penalizado

Estou fazendo um site que terá revisões das políticas de privacidade de centenas de milhares de outros sites na internet. Seu conteúdo inicial é baseado no meu funcionamento através doCommonCrawl 5 bilhões de página web despejo eanalisando todas as políticas de privacidade com um script, para identificar determinadas características (por exemplo, "Vende suas informações pessoais").

De acordo comSEO MOZ Guia do iniciante para SEO:

Os motores de busca tendem a rastrear apenas cerca de 100 links em qualquer página. Esta restrição é necessária para manter o spam e conservar os rankings.

Eu estava me perguntando o que seria uma maneira inteligente de criar uma web de navegação que não deixa nenhuma página órfã, mas ainda evitaria essa penalidade de SEO de que eles falam. Eu tenho algumas ideias:

Crie páginas alfabéticas (ou .xml do Google Sitemap), como "Sites que começam com Ado *". E isso ligaria "Adobe.com" por exemplo. Isso, ou qualquer outra divisão sem sentido das páginas, parece meio artificial e me pergunto se o Google pode não gostar disso.Usando meta palavras-chave ou descrições para categorizarEncontre alguma maneira de aplicar categorias mais interessantes, como geográfica ou baseada em conteúdo. Minha preocupação aqui é que não tenho certeza de como poderia aplicar essas categorias em vários sites. Suponho que, se necessário, eu poderia escrever outro classificador para tentar analisar o conteúdo das páginas a partir do rastreamento. Soa como um grande trabalho em si mesmo embora.Use o projeto DMOZ para ajudar a categorizar as páginas.

A Wikipedia e o StackOverflow obviamente resolveram esse problema muito bem, permitindo que os usuários categorizem ou codifiquem todas as páginas. No meu caso não tenho esse luxo, mas quero encontrar a melhor opção disponível.

No centro desta questão está a forma como o Google responde a diferentes estruturas de navegação. Penaliza quem cria uma rede de páginas de forma programática / sem sentido? Ou não se importa, desde que tudo esteja conectado através de links?

questionAnswers(1)

yourAnswerToTheQuestion