Mit Python 2.7 schabe ich mit urllib2 und wenn etwas Xpath benötigt wird, lxml auch. Es istschnel, und da ich selten auf den Websites navigieren muss, funktioniert diese Kombination gut. In der Regel jedoch, wenn ich eine Seite erreiche, auf der nur dann wertvolle Daten angezeigt werden, wenn ein Kurzformular ausgefüllt und auf die Schaltfläche "Senden" geklickt wird Beispie), der reine Scraping-Ansatz mit urllib2 reicht nicht aus.

Jedes Mal, wenn eine solche Seite angetroffen wurde, konnte ich @ aufrufeselenium.webdriver, um die Seite erneut abzurufen und das Ausfüllen und Klicken des Formulars durchzuführen, aber dies wird die Dinge erheblich verlangsamen.

HINWEIS Bei dieser Frage geht es nicht um die Vorzüge oder Einschränkungen von urllib2, wovon ich weiß, dass es viele Diskussionen gegeben hat. Es konzentriert sich stattdessen nur darauf, einen schnellen, kopflosen Ansatz zum Ausfüllen von Formularen usw. zu finden (der bei Bedarf auch XPath-Abfragen ermöglicht).