Ich habe überlegt, einen einfachen Crawler zu schreiben, der crawlen und eine Liste seiner Ergebnisse für die Websites und Inhalte unserer NPO erstellen könnte.

Hat jemand irgendwelche Gedanken darüber, wie man das macht? Wohin weisen Sie den Crawler, um loszulegen? Wie sendet es seine Ergebnisse zurück und kriecht immer noch? Woher weiß es, was es findet usw.