Resultados da pesquisa a pedido "robots.txt"
formato de URL do robots.txt
De acordo comesta páginaglobbing e expressão regular não são suportadas nas linhas User-agent ou DisallowNo entanto, notei que ostackoverflow robots.txt incl...
como proibir todos os URLs dinâmicos robots.txt [closed]
como proibir todos os URLs dinâmicos no robots.txt
Robots.txt nega, por um #! URL
Estou tentando adicionar uma regra de negação a um arquivo robots.txt para negar acesso a uma única página.Os URLs do website funcionam da seguinte maneira:h...
arquivo robots.txt para diferentes domínios do mesmo site
Eu tenho um aplicativo da Web ASP.NET MVC 4 que pode ser acessado de vários domínios diferentes. O site é totalmente localizado com base no domínio da solici...
Como adicionar rota ao robots.txt dinâmico no ASP.NET MVC?
Eu tenho um robots.txt que não é estático, mas gerado dinamicamente. Meu problema é criar uma rota do root / robots.txt para minha ação do controlador.estetr...
A linha do User-Agent no robots.txt é uma correspondência exata ou uma correspondência de substring?
Quando um rastreador lê a linha User-Agent de um arquivo robots.txt, ele tenta correspondê-lo exatamente ao seu próprio User-Agent ou ele tenta associá-lo co...
Python, Mechanize - solicitação não permitida pelo robots.txt mesmo depois de set_handle_robots e add_headers
Eu fiz um web crawler que recebe todos os links até o primeiro nível de página e deles obtém todos os links e texto, além de imagelinks e alt. aqui está o có...