Resultados da pesquisa a pedido "robots.txt"
Robots.txt: esta regra de curinga é válida?
Questão simples. Eu quero adicionar: Disallow */*details-print/Basicamente, regras de bloqueio na forma de/foo/bar/dynamic-details-print --- foo e bar neste exemplo também podem ser totalmente dinâmicos. Eu pensei que isso seria simples, mas ...
A sequência do agente do usuário precisa ser exatamente como aparece nos logs do meu servidor?
Ao usar um arquivo Robots.txt, a sequência do agente do usuário precisa ser exatamente como aparece nos logs do meu servidor? Por exemplo, ao tentar corresponder ao GoogleBot, posso apenas usargooglebot? Além disso, uma correspondência parcial ...
Como impedir que os mecanismos de pesquisa indexem todos os URLs que começam com origin.domainname.com
Eu tenho www.domainname.com, origin.domainname.com apontando para a mesma base de código. Existe uma maneira, posso impedir que todos os URLs do nome de base origin.domainname.com sejam indexados. Existe alguma regra no robot.txt para fazer ...
Como desaprovo uma página específica do robots.txt
Estou criando duas páginas no meu site muito semelhantes, mas que servem a propósitos diferentes. Uma é agradecer aos usuários por deixarem um comentário e a outra é incentivar os usuários a se inscrever. Não quero o conteúdo duplicado, mas ...
analisador robots.txt java
Eu quero saber como analisar o robots.txt em java. Já existe algum código?
como proibir todos os URLs dinâmicos robots.txt [closed]
como proibir todos os URLs dinâmicos no robots.txt