Spinnen Sie eine Website und geben Sie nur URLs zurück

Ich suche einen Weg, um eine Pseudo-Spider-Website zu erstellen. Der Schlüssel ist, dass ich eigentlich nicht den Inhalt will, sondern eine einfache Liste von URIs. Mit @ kann ich dieser Idee einigermaßen nahe komm Wget Verwendung der--spider -Option, aber beim Leiten dieser Ausgabe durch eingrep, Ich kann anscheinend nicht die richtige Magie finden, um es zum Laufen zu bringen:

wget --spider --force-html -r -l1 http://somesite.com | grep 'Saving to:'

Dasgrep Filter scheint absolut keinen Einfluss auf diewget Ausgabe. Habe ich etwas falsch gemacht oder gibt es ein anderes Tool, das ich ausprobieren sollte, um eine solche begrenzte Ergebnismenge bereitzustellen?

AKTUALISIERE

So fand ich gerade offline heraus, dass standardmäßigwget schreibt an stderr. Ich habe das auf den Manpages verpasst (tatsächlich habe ich es immer noch nicht gefunden, wenn es dort drin ist). Sobald ich die Rückkehr zu stdout geleitet habe, bin ich näher zu dem gekommen, was ich brauche:

wget --spider --force-html -r -l1 http://somesite.com 2>&1 | grep 'Saving to:'

Ich würde mich immer noch für andere / bessere Mittel interessieren, um so etwas zu tun, falls es welche gibt.

Antworten auf die Frage(8)

Ihre Antwort auf die Frage