Python urllib3 und wie gehe ich mit der Cookie-Unterstützung um?
Also schaue ich nachurllib3 da es über ein Verbindungspooling verfügt und thread-sicher ist (daher ist die Leistung insbesondere beim Crawlen besser), aber die Dokumentation ist ... gelinde gesagt minimal. urllib2 hat so etwas wie build_opener:
#!/usr/bin/python
import cookielib, urllib2
cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
r = opener.open("http://example.com/")
Da es in urllib3 keine build_opener-Methode gibt, ist der einzige Weg, den ich bisher herausgefunden habe, es manuell in den Header einzufügen:
#!/usr/bin/python
import urllib3
http_pool = urllib3.connection_from_url("http://example.com")
myheaders = {'Cookie':'some cookie data'}
r = http_pool.get_url("http://example.org/", headers=myheaders)
Aber ich hoffe, es gibt einen besseren Weg und einer von Ihnen kann mir sagen, was es ist. Kann auch jemand dies mit "urllib3" markieren, bitte.