Ich erstelle eine Website, auf der die Datenschutzrichtlinien von Hunderttausenden anderer Websites im Internet überprüft werden. Sein anfänglicher Inhalt basiert auf meinem Durchlaufen derCommonCrawl 5 Milliarden Seiten Web Dump undAnalyse aller Datenschutzrichtlinien mit einem Skript, um bestimmte Merkmale zu identifizieren (z. B. "Verkauft Ihre persönlichen Daten").

LautSEO MOZ Anfängerleitfaden für SEO:

Suchmaschinen neigen dazu, auf einer bestimmten Seite nur etwa 100 Links zu crawlen. Diese lockere Einschränkung ist notwendig, um Spam zu vermeiden und die Platzierungen zu erhalten.

Ich habe mich gefragt, was eine clevere Möglichkeit wäre, ein Navigationsnetz zu erstellen, das keine verwaisten Seiten hinterlässt, aber dennoch diese SEO-Strafe vermeidet, von der sie sprechen. Ich habe ein paar Ideen:

Erstellen Sie alphabetische Seiten (oder XML-Dateien der Google Sitemap), z. B. "Sites, die mit Ado * beginnen". Und es würde dort zum Beispiel "Adobe.com" verlinken. Diese oder jede andere sinnlose Aufteilung der Seiten scheint irgendwie erfunden zu sein, und ich frage mich, ob Google sie vielleicht nicht mag.Verwenden von Meta-Schlüsselwörtern oder Beschreibungen zur KategorisierungFinden Sie eine Möglichkeit, interessantere Kategorien anzuwenden, z. B. geografisch oder inhaltsbasiert. Ich bin mir nicht sicher, wie ich diese Kategorien auf so viele Websites anwenden kann. Ich nehme an, wenn nötig, könnte ich einen anderen Klassifikator schreiben, um den Inhalt der Seiten aus dem Crawl zu analysieren. Klingt nach einem großen Job für sich.Verwenden Sie das DMOZ-Projekt, um die Seiten zu kategorisieren.

Wikipedia und StackOverflow haben dieses Problem offensichtlich sehr gut gelöst, indem es den Benutzern ermöglicht wurde, alle Seiten zu kategorisieren oder mit Tags zu versehen. In meinem Fall habe ich diesen Luxus nicht, aber ich möchte die beste verfügbare Option finden.

Im Kern dieser Frage geht es darum, wie Google auf unterschiedliche Navigationsstrukturen reagiert. Bestraft es diejenigen, die ein Web von Seiten auf programmatische / bedeutungslose Weise erstellen? Oder ist es egal, solange alles über Links verbunden ist?