Resultados da pesquisa a pedido "crawler4j"
Melhorando o desempenho do crawler4j
Preciso escrever um webscraper que raspeie em torno de 1 milhão de sites e salve o título, a descrição e as palavras-chave em um arquivo grande (contendo o URL raspado e as palavras relacionadas). Os URLs devem ser extraídos de um ...
Crawler4j com autenticação
Estou tentando executar o crawler4j em um redmine pessoal para fins de teste. Eu quero autenticar e rastrear várias folhas de profundidade no aplicativo. eu sigoeste ...
controlador de chamada (crawler4j-3.5) dentro do loop
Oi estou ligandocontroller dentrofor-loop, porque estou tendo mais de 100 URL, por isso estou com tudo na lista e irei iterar ecrawl Na página, defino esse URL também para setCustomData, pois não deve sair do domínio. for (Iterator<String> ...