Splash Lua скрипт, чтобы сделать несколько кликов и посещений
Я пытаюсь ползтиРезультаты поиска Google Scholar и получить весь формат BiBTeX каждого результата, соответствующего запросу. Прямо сейчас у меня есть сканер Scrapy с Splash. У меня есть скрипт lua, который нажимает на ссылку «Цитировать» и загружает модальное окно, прежде чем получитьhref
формата BibTeX цитаты. Но, учитывая, что есть несколько результатов поиска и, следовательно, несколько ссылок "Цитировать", мне нужно щелкнуть их все и загрузить отдельные страницы BibTeX.
Вот что у меня есть:
import scrapy
from scrapy_splash import SplashRequest
class CiteSpider(scrapy.Spider):
name = "cite"
allowed_domains = ["scholar.google.com", "scholar.google.ae"]
start_urls = [
'https://scholar.google.ae/scholar?q="thermodynamics"&hl=en'
]
script = """
function main(splash)
local url = splash.args.url
assert(splash:go(url))
assert(splash:wait(0.5))
splash:runjs('document.querySelectorAll("a.gs_nph[aria-controls=gs_cit]")[0].click()')
splash:wait(3)
local href = splash:evaljs('document.querySelectorAll(".gs_citi")[0].href')
assert(splash:go(href))
return {
html = splash:html(),
png = splash:png(),
href=href,
}
end
"""
def parse(self, response):
yield SplashRequest(self.start_urls[0], self.parse_bib,
endpoint="execute",
args={"lua_source": self.script})
def parse_bib(self, response):
filename = response.url.split("/")[-2] + '.html'
with open(filename, 'wb') as f:
f.write(response.css("body > pre::text").extract()[0])
Я думаю, что я должен передать индекс ссылки "Cite" в скрипт lua при выполненииquerySelectorAll
вызов, но я не могу найти способ передать другую переменную в функцию. Также я предполагаю, что мне придется сделать несколько грязных JavaScripthistory.back()
вернуться к исходной странице результатов после получения BibTeX, но я чувствую, что есть более элегантный способ справиться с этим.