Я хотел бы отразить в простом защищенном паролем веб-портале некоторые данные, которые я хотел бы сохранить в зеркале & amp; до настоящего времени. По сути, этот веб-сайт представляет собой просто список каталогов с данными, упорядоченными по папкам и Я действительно не забочусь о сохранении файлов html & amp; другие элементы форматирования. Однако есть некоторые типы файлов, которые слишком велики для загрузки, поэтому я хочу их игнорировать.

С использованиемwget -m -R/--reject flag почти делает то, что я хочу, за исключением того, что все файлы загружаются, затем, если они соответствуют флагу -R, они удаляются.

Вот как я используюwget:

wget --http-user userName --http-password password -R index.html,*tiff,*bam,*bai -m http://web.server.org/

Который производит вывод, подобный этому, подтверждая, что исключенный файл (index.html) (a) загружается, а (b) затем удаляется:

...
--2012-05-23 09:38:38-- http://web.server.org/folder/
Reusing existing connection to web.server.org:80.
HTTP request sent, awaiting response... 401 Authorization Required
Reusing existing connection to web.server.org:80.
HTTP request sent, awaiting response... 200 OK
Length: 2677 (2.6K) [text/html]
Saving to: `web.server.org/folder/index.html' 100%[======================================================================================================================>] 2,677 --.-K/s in 0s

Last-modified header missing -- time-stamps turned off.
2012-05-23 09:38:39 (328 MB/s) - `web.server.org/folder/index.html' saved [2677/2677]

Removing web.server.org/folder/index.html since it should be rejected.

...

Есть ли способ заставить Wget отклонить файл перед его загрузкой?
Есть ли альтернатива, которую я должен рассмотреть?

Кроме того, почему я получаю401 Authorization Required ошибка для каждого загруженного файла, несмотря на предоставление имени пользователя & amp; пароль. Это какwget пытается подключиться без проверки подлинности каждый раз, прежде чем пытаться ввести имя пользователя / пароль.

спасибо Марк