Estou tentando raspar o Instagram e o Twitter com base na geolocalização. Posso executar uma pesquisa de consulta, mas estou tendo dificuldades em recarregar a página da Web para mais e armazenar os campos no quadro de dados.

Eu encontrei alguns exemplos de raspagem da Web no Twitter e Instagram sem chaves de API. Mas eles são referentes a #tags keywords.

Estou tentando raspar em relação à localização geográfica e entre datas antigas. até agora, cheguei até aqui escrevendo código em python 3.X e todas as versões mais recentes de pacotes no anaconda.

'''
    Instagram - Components
    "id": "1478232643287060472", 
     "dimensions": {"height": 1080, "width": 1080}, 
     "owner": {"id": "351633262"}, 
     "thumbnail_src": "https://instagram.fdel1-1.fna.fbcdn.net/t51.2885-15/s640x640/sh0.08/e35/17439262_973184322815940_668652714938335232_n.jpg", 
     "is_video": false, 
     "code": "BSDvMHOgw_4", 
     "date": 1490439084, 
     "taken-at=213385402"
     "display_src": "https://instagram.fdel1-1.fna.fbcdn.net/t51.2885-15/e35/17439262_973184322815940_668652714938335232_n.jpg", 
     "caption": "Hakuna jambo zuri kama kumpa Mungu shukrani kwa kila jambo.. \ud83d\ude4f\ud83c\udffe\nIts weekend\n#lifeistooshorttobeunhappy\n#Godisgood \n#happysoul \ud83d\ude00", 
     "comments": {"count": 42}, 
     "likes": {"count": 3813}}, 
'''


import selenium
from selenium import webdriver
#from selenium import selenium
from bs4 import BeautifulSoup
import pandas

#geotags = pd.read_csv("geocodes.csv")
#parmalink = 
query = geocode%3A35.68501%2C139.7514%2C30km%20since:2016-03-01%20until:2016-03-02&f=tweets

twitterURL = 'https://twitter.com/search?q=' + query
#instaURL = "https://www.instagram.com/explore/locations/213385402/"


browser = webdriver.Firefox()
browser.get(twitterURL)
content = browser.page_source

soup = BeautifulSoup(content)
print (soup)

Para a consulta de pesquisa do Twitter, estou recebendo erro de sintaxe

Para o Instagram, não estou recebendo nenhum erro, mas não consigo recarregar para obter mais postagens e escrever de volta para csv dataframe.

Também estou tentando pesquisar com latitude e longitude no Twitter e no Instagram.

Eu tenho uma lista de coordenadas geográficas em csv. Posso usar essa entrada ou escrever uma consulta para pesquisa.

Qualquer forma de concluir a raspagem com a localização será apreciada.

Agradecemos a ajuda !!