Chciałbym napisać prosty pająk internetowy lub po prostu użyćwget pobrać wyniki pdf z google scholar. Byłoby to całkiem sprytny sposób na zdobycie dokumentów do badań.

Przeczytałem następujące strony na temat stackoverflow:

Przeszukiwanie strony za pomocą wget i ograniczenie całkowitej liczby przeszukiwanych linków

Jak pająki internetowe różnią się od pająka Wgeta?

Pobieranie wszystkich plików PDF ze strony internetowej

Jak pobrać wszystkie pliki (ale nie HTML) ze strony internetowej za pomocą wget?

Ostatnia strona jest prawdopodobnie najbardziej inspirująca ze wszystkich. Próbowałem użyćwget zgodnie z sugestiąto.

Moja strona wyników wyszukiwania Google Scholar jesta zatem ale nic nie zostało pobrane.

Biorąc pod uwagę, że mój poziom znajomości stron internetowych jest minimalny, co powinienem zrobić, aby było to możliwe? Zdaję sobie sprawę, że pisanie pająka jest być może bardzo zaangażowane i jest to projekt, którego nie chcę podejmować. Jeśli to możliwe, użyjwget, byłoby to absolutnie niesamowite.