Скажем, я захожу на веб-сайт (тоже в интрасети), для доступа к содержимому которого требуется логин. Я заполню обязательные поля ... например имя пользователя, пароль и любые капчи и т. д., необходимые для входа в систему из самого браузера.

После того, как я вошел на сайт, есть много вкусностей, которые можно извлечь из нескольких ссылок и вкладок на первой странице после входа в систему.

Теперь, с этого момента (то есть после входа в систему из браузера) .. Я хочу управлять страницей и загрузками с urllib2 ... как пролистывать страницу за страницей, скачивать PDF и изображения на каждой странице и т. Д.

Я понимаю, что мы можем использовать все, что угодно, от urllib2 (или механизировать) напрямую (то есть войти на страницу и делать все это).

Но для некоторых сайтов ... действительно сложно пройти через механизм входа в систему, необходимые скрытые параметры, источники ссылок,captcha, печенье и всплывающие окна.

Пожалуйста, порекомендуйте. Надеюсь, мой вопрос имеет смысл.

In summary, i want the initial login part done using the web browser manually... and then take over the automation for scraping through urllib2.