Estou tentando raspar dados de um site protegido por senha no R usando o pacote rvest. Atualmente, meu código efetua login no site a cada iteração de um loop que será executado cerca de 15.000 vezes. Isso parece muito ineficiente, mas ainda não descobri uma maneira de contornar isso, porque pular para um URL diferente sem primeiro fazer login sempre que retornar à página de login do site. Uma simplificação do meu código é a seguinte:

library(rvest)
url <- password protected website url within quotes
session <-html_session(url)
form <-html_form(session)[[1]]

filled_form <- set_values(form,
                      `username` = email within quotes, 
                      `password` = password within quotes)
start_table <- submit_form(session, filled_form) %>%
  jump_to(url from which to scrape first table within quotes) %>%
  html_node("table.inlayTable") %>%
  html_table()
data_table <- start_table

for(i in 1:nrow(data_ids))
{
current_table <- try(submit_form(session, filled_form) %>%
  jump_to(paste(first part of url within quotes, data_ids[i, ], last part of url within quotes, sep="")) %>%
  html_node("table.inlayTable") %>%
  html_table())

data_table <- rbind(data_table, current_table)
}

Por uma questão de simplicidade, a maneira como lida com os possíveis erros lançados na função try é suprimida. Observe que data_ids é um quadro de dados que contém a parte da URL a ser atualizada a cada nova iteração.

Alguém tem uma sugestão de como essa raspagem pode ser alcançada sem fazer login a cada iteração do loop?

Obrigado! Yann