Resultados da pesquisa a pedido "robots.txt"
analisador robots.txt java
Eu quero saber como analisar o robots.txt em java. Já existe algum código?
Não consigo acessar o Robots.txt no Spring-MVC
Estou tentando dar acesso arobots.txt no Spring-MVC. Para testar o código, coloqueirobots.txt noWebContent,Root eWEB-INF mas não consigo acessar nenhum deles. Eu já apliquei respostas para essas ...
Como desaprovo uma página específica do robots.txt
Estou criando duas páginas no meu site muito semelhantes, mas que servem a propósitos diferentes. Uma é agradecer aos usuários por deixarem um comentário e a outra é incentivar os usuários a se inscrever. Não quero o conteúdo duplicado, mas ...
Regexp para robots.txt
Estou tentando configurar meu robots.txt, mas não tenho certeza sobre os regexps. Tenho quatro páginas diferentes disponíveis em três idiomas diferentes. Em vez de listar cada página três vezes, achei que poderia usar uma regexp. ...
Parar bots abusivos de rastrear?
Isso é uma boa ideia? http: //browsers.garykeith.com/stream.asp? RobotsTXT [http://browsers.garykeith.com/stream.asp?RobotsTXT] O que significa rastreamento abusivo? Como isso é ruim para o meu site?
robots.txt permite apenas raiz, não permite todo o resto?
Parece que não consigo fazer isso funcionar, mas parece realmente básic Eu quero que a raiz do domínio seja rastreada http://www.example.comMas nada mais deve ser rastreado e todos os subdiretórios são dinâmicos http://www.example.com/*Eu ...
Facebook e atraso de rastreamento no Robots.txt?
s bots de rastreamento na Web do Facebook respeitam oCrawl-delay: [http://en.wikipedia.org/wiki/Robots_exclusion_standard#Crawl-delay_directive] diretiva emrobots.txt arquivos
Ignore urls em robot.txt com parâmetros específicos?
Gostaria que o Google ignorasse URLs como este: http: //www.mydomain.com/new-printers? dir = asc & order = price & p = 3 [http://www.mydomain.com/new-printers?dir=asc&order=price&p=3] odos os URLs com os parâmetros dir, ordem e preço devem ser ...