Resultados da pesquisa a pedido "robots.txt"
Como posso servir o robots.txt em um SPA usando o React com hospedagem no Firebase?
Eu tenho um SPA construído usandocreate-react-app e deseja ter um robots.txt como este: http://example.com/robots.txtEu vejo noesta página [https://github.com/ReactTraining/react-router/issues/3023]este: Você precisa ter certeza de que seu ...
Por que o Chrome solicita um robots.txt?
Percebi nos meus registros que o Chrome solicitou umarobots.txt ao lado de tudo que eu esperava. [...] 2017-09-17 15:22:35 - (sanic)[INFO]: Goin' Fast @ http://0.0.0.0:8080 2017-09-17 15:22:35 - (sanic)[INFO]: Starting worker [26704] 2017-09-17 ...
O Angular2 + webpack não implanta o robots.txt
Estou criando um site com [email protected]. Estou usando o Webpack com configurações padrão (como uma dependência). Aqui está o meu package.json "dependencies": { "@angular/common": "2.1.2", "@angular/compiler": "2.1.2", "@angular/core": "2.1.2", ...
Não consigo acessar o Robots.txt no Spring-MVC
Estou tentando dar acesso arobots.txt no Spring-MVC. Para testar o código, coloqueirobots.txt noWebContent,Root eWEB-INF mas não consigo acessar nenhum deles. Eu já apliquei respostas para essas ...
Arquivo Robots.txt no MVC.NET 4
Eu li um artigo sobre como ignorar os robôs de algum URL no meu projeto ASP MVC.NET. Em seu artigo, o autor disse que deveríamos adicionar alguma ação em alguns controladores externos como este. Neste exemplo, ele adiciona a ação ao Home ...
O que o cifrão significa no robots.txt
Estou curioso sobre um site e quero fazer algum rastreamento na Web no/s caminho.O seu robots.txt [http://mp.weixin.qq.com/robots.txt]: User-Agent: * Allow: /$ Allow: /debug/ Allow: /qa/ Allow: /wiki/ Allow: /cgi-bin/loginpage Disallow: /Minhas ...
Como não indexar URLS específicos?
Eu estava pesquisando sobre como não indexar URLs específicos, mas não encontrei nenhuma informação específica sobre o seguinte. Adicionando o abaixo <?php if(is_single(X)): ?> <meta name="robots" content="noindex,nofollow"> <?php endif; ?>Eu ...
Devo remover meta-robôs (índice, siga) quando tiver um robots.txt?
Estou um pouco confuso se devo remover a metatag robots, se quiser que os mecanismos de pesquisa sigam minhas regras do robots.txt. Se a metatag de robôs (indexar, seguir) existir na página, os mecanismos de pesquisa ignorarão meu arquivo ...
Como ocultar o diretório de sites dos mecanismos de pesquisa sem o Robots.txt?
Sabemos que podemos impedir que os mecanismos de pesquisa indexem diretórios em nosso site usando o robots.txt. Mas é claro que isso tem a desvantagem de realmente divulgar diretórios que não queremos que sejam encontrados por possíveis ...
As subpastas relacionadas precisam ser desabilitadas separadamente no robots.txt?
A proibição de determinada pasta no robots.txt não permitirá suas subpastas relacionadas? Exemplo: Disallow:/folder/Corresponderá: /folder/page /folder/subfolder/pageOu apenas corresponderá: /folder/pagePortanto, se o segundo caso for ...