Resultados da pesquisa a pedido "robots.txt"
formato de URL do robots.txt
De acordo comesta páginaglobbing e expressão regular não são suportadas nas linhas User-agent ou DisallowNo entanto, notei que ostackoverflow robots.txt incl...
arquivo robots.txt para diferentes domínios do mesmo site
Eu tenho um aplicativo da Web ASP.NET MVC 4 que pode ser acessado de vários domínios diferentes. O site é totalmente localizado com base no domínio da solici...
Python, Mechanize - solicitação não permitida pelo robots.txt mesmo depois de set_handle_robots e add_headers
Eu fiz um web crawler que recebe todos os links até o primeiro nível de página e deles obtém todos os links e texto, além de imagelinks e alt. aqui está o có...
Curingas no robots.txt
Se no site do WordPress eu tenho categorias nesta ordem: -Parent --Child ---SubchildTenho permalinks definidos para:% category% /% postname% Vamos usar um exemplo. Crio post com o nome "Sport game". Sua marca é esporte-jogo. Seu URL completo é: ...
bloquear o diretório de rastreamento do mecanismo de pesquisa
Meu site tem uma estrutura de URL (mais longa) como esta http://www.example.com/xyz-pqr/abcd-efgh/123.html [http://www.example.com/xyz-pqr/abcd-efgh/123.html] Portanto, há no máximo três níveis de diretório, mas, devido ao CMS e ...
As subpastas relacionadas precisam ser desabilitadas separadamente no robots.txt?
A proibição de determinada pasta no robots.txt não permitirá suas subpastas relacionadas? Exemplo: Disallow:/folder/Corresponderá: /folder/page /folder/subfolder/pageOu apenas corresponderá: /folder/pagePortanto, se o segundo caso for ...
O que o cifrão significa no robots.txt
Estou curioso sobre um site e quero fazer algum rastreamento na Web no/s caminho.O seu robots.txt [http://mp.weixin.qq.com/robots.txt]: User-Agent: * Allow: /$ Allow: /debug/ Allow: /qa/ Allow: /wiki/ Allow: /cgi-bin/loginpage Disallow: /Minhas ...
Arquivo Robots.txt no MVC.NET 4
Eu li um artigo sobre como ignorar os robôs de algum URL no meu projeto ASP MVC.NET. Em seu artigo, o autor disse que deveríamos adicionar alguma ação em alguns controladores externos como este. Neste exemplo, ele adiciona a ação ao Home ...