С Python 2.7 я соскребаю сurllib2 и когда нужен какой-то Xpath,LXML также. Этобыстрои поскольку мне редко приходится перемещаться по сайтам, эта комбинация работает хорошо. Однако, иногда, когда я захожу на страницу, которая отображает только некоторые ценные данные, когда заполнена короткая форма и нажата кнопка отправки (пример), подход только для очистки с urllib2 недостаточен.

Каждый раз, когда такая страница встречалась, я мог вызватьselenium.webdriver обновить страницу и выполнить заполнение формы и щелчок, но это значительно замедлит работу.

НОТА: Этот вопрос не о достоинствах или ограниченияхurllib2, о котором я знаю, было много дискуссий. Вместо этого он сосредоточен только на поиске быстрого, безголового подхода к заполнению форм и т. Д. (Тот, который также учитывает запросы XPath при необходимости).