Скажем, я захожу на веб-сайт (тоже в интрасети), для доступа к содержимому которого требуется логин. Я заполню обязательные поля ... например имя пользователя, пароль и любые капчи и т. д., необходимые для входа в систему из самого браузера.

После того, как я вошел на сайт, есть много вкусностей, которые можно извлечь из нескольких ссылок и вкладок на первой странице после входа в систему.

Теперь, с этого момента (то есть после входа в систему из браузера) .. Я хочу управлять страницей и загрузками с urllib2 ... как пролистывать страницу за страницей, скачивать pdf и изображения на каждой странице и т. Д.

Я понимаю, что мы можем использовать все, что угодно, от urllib2 (или механизировать) напрямую (то есть войти на страницу и делать все это).

Но для некоторых сайтов ... действительно сложно пройти через механизм входа в систему, необходимые скрытые параметры, источники ссылок,CAPTCHA,, печенье и всплывающие окна.

Пожалуйста, порекомендуйте. Надеюсь, мой вопрос имеет смысл.

Таким образом, я хочу, чтобы начальная часть входа в систему была выполнена с помощью веб-браузера вручную ... а затем взяла на себя автоматизацию для очистки через urllib2.