Resultados da pesquisa a pedido "robots.txt"
Como ocultar o diretório de sites dos mecanismos de pesquisa sem o Robots.txt?
Sabemos que podemos impedir que os mecanismos de pesquisa indexem diretórios em nosso site usando o robots.txt. Mas é claro que isso tem a desvantagem de realmente divulgar diretórios que não queremos que sejam encontrados por possíveis ...
Devo remover meta-robôs (índice, siga) quando tiver um robots.txt?
Estou um pouco confuso se devo remover a metatag robots, se quiser que os mecanismos de pesquisa sigam minhas regras do robots.txt. Se a metatag de robôs (indexar, seguir) existir na página, os mecanismos de pesquisa ignorarão meu arquivo ...
Como não indexar URLS específicos?
Eu estava pesquisando sobre como não indexar URLs específicos, mas não encontrei nenhuma informação específica sobre o seguinte. Adicionando o abaixo <?php if(is_single(X)): ?> <meta name="robots" content="noindex,nofollow"> <?php endif; ?>Eu ...
Como impedir que os mecanismos de pesquisa indexem todos os URLs que começam com origin.domainname.com
Eu tenho www.domainname.com, origin.domainname.com apontando para a mesma base de código. Existe uma maneira, posso impedir que todos os URLs do nome de base origin.domainname.com sejam indexados. Existe alguma regra no robot.txt para fazer ...
O Angular2 + webpack não implanta o robots.txt
Estou criando um site com [email protected]. Estou usando o Webpack com configurações padrão (como uma dependência). Aqui está o meu package.json "dependencies": { "@angular/common": "2.1.2", "@angular/compiler": "2.1.2", "@angular/core": "2.1.2", ...
Por que o Chrome solicita um robots.txt?
Percebi nos meus registros que o Chrome solicitou umarobots.txt ao lado de tudo que eu esperava. [...] 2017-09-17 15:22:35 - (sanic)[INFO]: Goin' Fast @ http://0.0.0.0:8080 2017-09-17 15:22:35 - (sanic)[INFO]: Starting worker [26704] 2017-09-17 ...
Parar bots abusivos de rastrear?
Isso é uma boa ideia? http: //browsers.garykeith.com/stream.asp? RobotsTXT [http://browsers.garykeith.com/stream.asp?RobotsTXT] O que significa rastreamento abusivo? Como isso é ruim para o meu site?
robots.txt permite apenas raiz, não permite todo o resto?
Parece que não consigo fazer isso funcionar, mas parece realmente básic Eu quero que a raiz do domínio seja rastreada http://www.example.comMas nada mais deve ser rastreado e todos os subdiretórios são dinâmicos http://www.example.com/*Eu ...
analisador robots.txt java
Eu quero saber como analisar o robots.txt em java. Já existe algum código?