Spiegel http-Website, mit Ausnahme bestimmter Dateien

Ich möchte ein einfaches passwortgeschütztes Webportal auf einige Daten spiegeln, die ich gespiegelt und auf dem neuesten Stand halten möchte. Im Wesentlichen handelt es sich bei dieser Website nur um eine Verzeichnisliste mit Daten, die in Ordnern organisiert sind. Es ist mir nicht wichtig, HTML-Dateien und andere Formatierungselemente zu behalten. Es gibt jedoch einige große Dateitypen, die zum Herunterladen zu groß sind. Daher möchte ich diese ignorieren.

Verwendung derwget -m -R/--reject flag macht fast das, was ich will, mit der Ausnahme, dass alle Dateien heruntergeladen werden. Wenn sie mit dem -R-Flag übereinstimmen, werden sie gelöscht.

Hier ist, wie ich benutzewget:

wget --http-user userName --http-password password -R index.html,*tiff,*bam,*bai -m http://web.server.org/

Was zu einer Ausgabe wie dieser führt, die bestätigt, dass eine ausgeschlossene Datei (index.html) (a) heruntergeladen und (b) dann gelöscht wird:

...
- 2012-05-23 09: 38: 38--http://web.server.org/folder/
Wiederverwenden der bestehenden Verbindung zu web.server.org:80.
HTTP-Anforderung gesendet, Antwort wird erwartet ... 401 Autorisierung erforderlich
Wiederverwenden der bestehenden Verbindung zu web.server.org:80.
HTTP-Anforderung gesendet, Antwort wird erwartet ... 200 OK
Länge: 2677 (2,6 KB) [Text / HTML]
Speichern unter: `web.server.org/folder/index.html '100% [================================ ================================================ ===================================>] 2.677 --.- K / s in 0s

Zuletzt geänderter Header fehlt - Zeitstempel deaktiviert.
2012-05-23 09:38:39 (328 MB / s) - "web.server.org/folder/index.html" gespeichert [2677/2677]

Entfernen von web.server.org/folder/index.html, da dies abgelehnt werden sollte.

...

Gibt es eine Möglichkeit, wget zu zwingen, die Datei vor dem Herunterladen abzulehnen?
Gibt es eine Alternative, die ich in Betracht ziehen sollte?

Auch warum bekomme ich eine401 Authorization Required Fehler für jede heruntergeladene Datei, obwohl Benutzername und Passwort eingegeben wurden. Es ist wiewget versucht jedes Mal, eine nicht authentifizierte Verbindung herzustellen, bevor der Benutzername / das Passwort abgefragt werden.

Danke, Mark

Antworten auf die Frage(4)

Ihre Antwort auf die Frage