Resultados da pesquisa a pedido "robots.txt"
Devo remover meta-robôs (índice, siga) quando tiver um robots.txt?
Estou um pouco confuso se devo remover a metatag robots, se quiser que os mecanismos de pesquisa sigam minhas regras do robots.txt. Se a metatag de robôs (indexar, seguir) existir na página, os mecanismos de pesquisa ignorarão meu arquivo ...
Parar bots abusivos de rastrear?
Isso é uma boa ideia? http: //browsers.garykeith.com/stream.asp? RobotsTXT [http://browsers.garykeith.com/stream.asp?RobotsTXT] O que significa rastreamento abusivo? Como isso é ruim para o meu site?
arquivo robots.txt para diferentes domínios do mesmo site
Eu tenho um aplicativo da Web ASP.NET MVC 4 que pode ser acessado de vários domínios diferentes. O site é totalmente localizado com base no domínio da solici...
Como ocultar o diretório de sites dos mecanismos de pesquisa sem o Robots.txt?
Sabemos que podemos impedir que os mecanismos de pesquisa indexem diretórios em nosso site usando o robots.txt. Mas é claro que isso tem a desvantagem de realmente divulgar diretórios que não queremos que sejam encontrados por possíveis ...
Ignore urls em robot.txt com parâmetros específicos?
Gostaria que o Google ignorasse URLs como este: http: //www.mydomain.com/new-printers? dir = asc & order = price & p = 3 [http://www.mydomain.com/new-printers?dir=asc&order=price&p=3] odos os URLs com os parâmetros dir, ordem e preço devem ser ...
Como impedir que os mecanismos de pesquisa indexem todos os URLs que começam com origin.domainname.com
Eu tenho www.domainname.com, origin.domainname.com apontando para a mesma base de código. Existe uma maneira, posso impedir que todos os URLs do nome de base origin.domainname.com sejam indexados. Existe alguma regra no robot.txt para fazer ...
A sequência do agente do usuário precisa ser exatamente como aparece nos logs do meu servidor?
Ao usar um arquivo Robots.txt, a sequência do agente do usuário precisa ser exatamente como aparece nos logs do meu servidor? Por exemplo, ao tentar corresponder ao GoogleBot, posso apenas usargooglebot? Além disso, uma correspondência parcial ...
formato de URL do robots.txt
De acordo comesta páginaglobbing e expressão regular não são suportadas nas linhas User-agent ou DisallowNo entanto, notei que ostackoverflow robots.txt incl...
É possível listar vários user agents em uma linha?
É possível no robots.txt dar uma instrução para vários bots sem ter que mencioná-la repetidamente?Exemplo: