Resultados da pesquisa a pedido "robots.txt"
Como adicionar rota ao robots.txt dinâmico no ASP.NET MVC?
Eu tenho um robots.txt que não é estático, mas gerado dinamicamente. Meu problema é criar uma rota do root / robots.txt para minha ação do controlador.estetr...
arquivo robots.txt para diferentes domínios do mesmo site
Eu tenho um aplicativo da Web ASP.NET MVC 4 que pode ser acessado de vários domínios diferentes. O site é totalmente localizado com base no domínio da solici...
Robots.txt nega, por um #! URL
Estou tentando adicionar uma regra de negação a um arquivo robots.txt para negar acesso a uma única página.Os URLs do website funcionam da seguinte maneira:h...
formato de URL do robots.txt
De acordo comesta páginaglobbing e expressão regular não são suportadas nas linhas User-agent ou DisallowNo entanto, notei que ostackoverflow robots.txt incl...
Ignore urls em robot.txt com parâmetros específicos?
Gostaria que o Google ignorasse URLs como este: http: //www.mydomain.com/new-printers? dir = asc & order = price & p = 3 [http://www.mydomain.com/new-printers?dir=asc&order=price&p=3] odos os URLs com os parâmetros dir, ordem e preço devem ser ...
Facebook e atraso de rastreamento no Robots.txt?
s bots de rastreamento na Web do Facebook respeitam oCrawl-delay: [http://en.wikipedia.org/wiki/Robots_exclusion_standard#Crawl-delay_directive] diretiva emrobots.txt arquivos
robots.txt permite apenas raiz, não permite todo o resto?
Parece que não consigo fazer isso funcionar, mas parece realmente básic Eu quero que a raiz do domínio seja rastreada http://www.example.comMas nada mais deve ser rastreado e todos os subdiretórios são dinâmicos http://www.example.com/*Eu ...
Parar bots abusivos de rastrear?
Isso é uma boa ideia? http: //browsers.garykeith.com/stream.asp? RobotsTXT [http://browsers.garykeith.com/stream.asp?RobotsTXT] O que significa rastreamento abusivo? Como isso é ruim para o meu site?
Regexp para robots.txt
Estou tentando configurar meu robots.txt, mas não tenho certeza sobre os regexps. Tenho quatro páginas diferentes disponíveis em três idiomas diferentes. Em vez de listar cada página três vezes, achei que poderia usar uma regexp. ...
Proibir ou não indexar no subdomínio com robots.txt
Eu tenho dev.example.com e www.example.com hospedados em diferentes subdomínios. Quero que os rastreadores descartem todos os registros dodev subdomínio, mas mantenha-oswww. Estou usando o git para armazenar o código para ambos, ...