Com Python 2.7 eu estou raspando comurllib2 e quando algum Xpath é necessário,lxml também. Estávelozes, e como raramente preciso navegar pelos sites, essa combinação funciona bem. Na ocasião, geralmente, quando chego a uma página que exibe apenas alguns dados valiosos quando um formulário curto é preenchido e um botão de envio é clicado (exemplo), a abordagem somente de raspagem com urllib2 não é suficiente.

Cada vez que uma página desse tipo era encontrada, eu podia invocarselenium.webdriver refazer a página e preencher e clicar em formulários, mas isso atrasará consideravelmente as coisas.

NOTA: Esta questão não se refere aos méritos ou limitações dosurllib2, sobre o qual sei que houve muitas discussões. Em vez disso, focou-se apenas em encontrar uma abordagem rápida e sem cabeça para o preenchimento de formulários etc. (que também permitirá consultas XPath, se necessário).