Ich würde gerne eine einfache Webspinne schreiben oder einfach nur benutzenwget um pdf-ergebnisse von google scholar herunterzuladen. Das wäre in der Tat ein ziemlich einfacher Weg, um Papiere für die Forschung zu bekommen.

Ich habe die folgenden Seiten über Stackoverflow gelesen:

Crawlen Sie die Website mit wget und begrenzen Sie die Gesamtzahl der gecrawlten Links

Inwiefern unterscheiden sich Webspinnen von Wgets Spinne?

Herunterladen aller PDF-Dateien von einer Website

Wie lade ich mit wget alle Dateien (aber kein HTML) von einer Website herunter?

Die letzte Seite ist wahrscheinlich die inspirierendste von allen. Ich habe versucht mitwget wie am vorgeschlagendiese.

Meine Google Scholar Suchergebnisseite istsomit aber nichts wurde heruntergeladen.

Was muss ich tun, um dies zu ermöglichen, da ich nur ein minimales Verständnis für Webspider habe? Mir ist klar, dass das Schreiben einer Spinne vielleicht sehr aufwändig ist und ein Projekt ist, das ich möglicherweise nicht durchführen möchte. Wenn es möglich ist mitwget, das wäre absolut geil.