Entendendo solicitações versus solicitações

Question

Sep 13, 2017, 09:30 PM

python-requests python httprequest python-3.x grequests

Entendendo solicitações versus solicitações

Estou trabalhando com um processo que é basicamente o seguinte:

Pegue uma lista de URLs.Arranje umResponse objeto de cada um.Crie um objeto BeautifulSoup a partir dotext de cada resposta.Puxe o texto de uma determinada marca desse objeto BeautifulSoup.

Pelo meu entendimento, isso parece ideal paragrequests:

O GRequests permite usar solicitações com Gevent para fazer solicitações HTTP assíncronas facilmente.

Mas, no entanto, os dois processos (um com solicitações e outro com solicitações) parecem estar obtendo resultados diferentes, com algumas solicitações de solicitações retornandoNone ao invés de uma resposta.

Usando solicitações

import requests

tickers = [
    'A', 'AAL', 'AAP', 'AAPL', 'ABBV', 'ABC', 'ABT', 'ACN', 'ADBE', 'ADI', 
    'ADM',  'ADP', 'ADS', 'ADSK', 'AEE', 'AEP', 'AES', 'AET', 'AFL', 'AGN', 
    'AIG', 'AIV', 'AIZ', 'AJG', 'AKAM', 'ALB', 'ALGN', 'ALK', 'ALL', 'ALLE',
    ]

BASE = 'https://finance.google.com/finance?q={}'

rs = (requests.get(u) for u in [BASE.format(t) for t in tickers])
rs = list(rs)

rs
# [<Response [200]>,
 # <Response [200]>,
 # <Response [200]>,
 # <Response [200]>,
 # <Response [200]>,
 # <Response [200]>,
 # ...
 # <Response [200]>]

# All are okay (status_code == 200)

Usando grequests

# Restarted my interpreter and redefined `tickers` and `BASE`
import grequests

rs = (grequests.get(u) for u in [BASE.format(t) for t in tickers])
rs = grequests.map(rs)

rs
# [None,
 # <Response [200]>,
 # None,
 # None,
 # None,
 # None,
 # None,
 # None,
 # None,
 # None,
 # None,
 # None,
 # None,
 # None,
 # None,
 # None,
 # None,
 # None,
 # <Response [200]>,
 # <Response [200]>,
 # <Response [200]>,
 # <Response [200]>,
 # <Response [200]>,
 # <Response [200]>,
 # <Response [200]>,
 # <Response [200]>,
 # <Response [200]>,
 # <Response [200]>,
 # <Response [200]>,
 # <Response [200]>]

Por que a diferença nos resultados?

Atualização: Eu posso imprimir o tipo de exceção da seguinte maneira. Discussão relacionadaaqui mas não tenho ideia do que está acontecendo.

def exception_handler(request, exception):
    print(exception)

rs = grequests.map(rs, exception_handler=exception_handler)

# ("bad handshake: SysCallError(-1, 'Unexpected EOF')",)
# ("bad handshake: SysCallError(-1, 'Unexpected EOF')",)
# ("bad handshake: SysCallError(-1, 'Unexpected EOF')",)
# ("bad handshake: SysCallError(-1, 'Unexpected EOF')",)
# ("bad handshake: SysCallError(-1, 'Unexpected EOF')",)
# ("bad handshake: SysCallError(-1, 'Unexpected EOF')",)
# ("bad handshake: SysCallError(-1, 'Unexpected EOF')",)
# ("bad handshake: SysCallError(-1, 'Unexpected EOF')",)
# ("bad handshake: SysCallError(-1, 'Unexpected EOF')",)
# ("bad handshake: SysCallError(-1, 'Unexpected EOF')",)
# ("bad handshake: SysCallError(-1, 'Unexpected EOF')",)
# ("bad handshake: SysCallError(-1, 'Unexpected EOF')",)
# ("bad handshake: SysCallError(-1, 'Unexpected EOF')",)
# ("bad handshake: SysCallError(-1, 'Unexpected EOF')",)
# ("bad handshake: SysCallError(-1, 'Unexpected EOF')",)

Informações do sistema / versãopedidos: 2.18.4grequests: 0.3.0Python: 3.6.3urllib3: 1.22pyopenssl: 17.2.0Tudo via AnacondaSistema: mesmo problema no Mac OSX HS e no Windows 10, versão 10.0.16299