Raspar o Google Notícias com BeautifulSoup retorna resultados vazios
Estou tentando raspar o Google Notícias usando o seguinte código:
from bs4 import BeautifulSoup
import requests
import time
from random import randint
def scrape_news_summaries(s):
time.sleep(randint(0, 2)) # relax and don't let google be angry
r = requests.get("http://www.google.co.uk/search?q="+s+"&tbm=nws")
content = r.text
news_summaries = []
soup = BeautifulSoup(content, "html.parser")
st_divs = soup.findAll("div", {"class": "st"})
for st_div in st_divs:
news_summaries.append(st_div.text)
return news_summaries
l = scrape_news_summaries("T-Notes")
#l = scrape_news_summaries("""T-Notes""")
for n in l:
print(n)
Embora esse trecho de código estivesse funcionando antes, agora não consigo entender por que não está mais funcionando. É possível que eu tenha sido banido pelo Google desde que executei o código apenas três ou quatro vezes? (Tentei usar o Bing News com resultados vazios infelizmente também ...)
Obrigado.