Estoy creando un sitio que tendrá revisiones de las políticas de privacidad de cientos de miles de otros sitios en Internet. Su contenido inicial se basa en mi ejecución a través de laCommonCrawl 5 mil millones de páginas web volcado yAnalizando todas las políticas de privacidad. con un script, para identificar ciertas características (por ejemplo, "Vende su información personal").

De acuerdo con laSEO MOZ Guía para principiantes de SEO:

Los motores de búsqueda tienden a rastrear solo unos 100 enlaces en una página determinada. Esta restricción flexible es necesaria para evitar el spam y las clasificaciones.

Me preguntaba cuál sería una forma inteligente de crear una red de navegación que no deja huérfana a la página, pero aún así evitaría esta penalización de SEO de la que hablan. Tengo algunas ideas:

Cree páginas alfabéticas (o Google Sitemap .xml's), como "Sitios que comienzan con Ado *". Y enlazaría "Adobe.com" allí por ejemplo. Esto, o cualquier otra división sin sentido de las páginas, parece algo artificial y me pregunto si a Google no le va a gustar.Usando meta palabras clave o descripciones para categorizarEncuentre alguna forma de aplicar categorías más interesantes, como geográficas o basadas en contenido. Mi preocupación aquí es que no estoy seguro de cómo podría aplicar esas categorías en todos los ámbitos a tantos sitios. Supongo que, si es necesario, podría escribir otro clasificador para intentar analizar el contenido de las páginas del rastreo. Aunque suena como un gran trabajo en sí mismo.Utilice el proyecto DMOZ para ayudar a clasificar las páginas.

Obviamente, Wikipedia y StackOverflow han resuelto este problema muy bien al permitir a los usuarios clasificar o etiquetar todas las páginas. En mi caso, no tengo ese lujo, pero quiero encontrar la mejor opción disponible.

El núcleo de esta pregunta es cómo responde Google a diferentes estructuras de navegación. ¿Penaliza a quienes crean una red de páginas de manera programática / sin sentido? ¿O no le importa mientras todo esté conectado a través de enlaces?