Resultados da pesquisa a pedido "robots.txt"
Como posso servir o robots.txt em um SPA usando o React com hospedagem no Firebase?
Eu tenho um SPA construído usandocreate-react-app e deseja ter um robots.txt como este: http://example.com/robots.txtEu vejo noesta página [https://github.com/ReactTraining/react-router/issues/3023]este: Você precisa ter certeza de que seu ...
Curingas no robots.txt
Se no site do WordPress eu tenho categorias nesta ordem: -Parent --Child ---SubchildTenho permalinks definidos para:% category% /% postname% Vamos usar um exemplo. Crio post com o nome "Sport game". Sua marca é esporte-jogo. Seu URL completo é: ...
bloquear o diretório de rastreamento do mecanismo de pesquisa
Meu site tem uma estrutura de URL (mais longa) como esta http://www.example.com/xyz-pqr/abcd-efgh/123.html [http://www.example.com/xyz-pqr/abcd-efgh/123.html] Portanto, há no máximo três níveis de diretório, mas, devido ao CMS e ...
A proibição de site inteiro no robots.txt tem consequências após a remoção?
Publiquei um site e, devido a um mal-entendido que não depende de mim, tive que bloquear todas as páginas antes da indexação. Algumas dessas páginas já estavam vinculadas nas redes sociais. Portanto, para evitar uma má experiência do usuário, ...
As subpastas relacionadas precisam ser desabilitadas separadamente no robots.txt?
A proibição de determinada pasta no robots.txt não permitirá suas subpastas relacionadas? Exemplo: Disallow:/folder/Corresponderá: /folder/page /folder/subfolder/pageOu apenas corresponderá: /folder/pagePortanto, se o segundo caso for ...
Como ocultar o diretório de sites dos mecanismos de pesquisa sem o Robots.txt?
Sabemos que podemos impedir que os mecanismos de pesquisa indexem diretórios em nosso site usando o robots.txt. Mas é claro que isso tem a desvantagem de realmente divulgar diretórios que não queremos que sejam encontrados por possíveis ...
Devo remover meta-robôs (índice, siga) quando tiver um robots.txt?
Estou um pouco confuso se devo remover a metatag robots, se quiser que os mecanismos de pesquisa sigam minhas regras do robots.txt. Se a metatag de robôs (indexar, seguir) existir na página, os mecanismos de pesquisa ignorarão meu arquivo ...
Como não indexar URLS específicos?
Eu estava pesquisando sobre como não indexar URLs específicos, mas não encontrei nenhuma informação específica sobre o seguinte. Adicionando o abaixo <?php if(is_single(X)): ?> <meta name="robots" content="noindex,nofollow"> <?php endif; ?>Eu ...
O que o cifrão significa no robots.txt
Estou curioso sobre um site e quero fazer algum rastreamento na Web no/s caminho.O seu robots.txt [http://mp.weixin.qq.com/robots.txt]: User-Agent: * Allow: /$ Allow: /debug/ Allow: /qa/ Allow: /wiki/ Allow: /cgi-bin/loginpage Disallow: /Minhas ...
Arquivo Robots.txt no MVC.NET 4
Eu li um artigo sobre como ignorar os robôs de algum URL no meu projeto ASP MVC.NET. Em seu artigo, o autor disse que deveríamos adicionar alguma ação em alguns controladores externos como este. Neste exemplo, ele adiciona a ação ao Home ...