Resultados da pesquisa a pedido "robots.txt"
A proibição de site inteiro no robots.txt tem consequências após a remoção?
Publiquei um site e, devido a um mal-entendido que não depende de mim, tive que bloquear todas as páginas antes da indexação. Algumas dessas páginas já estavam vinculadas nas redes sociais. Portanto, para evitar uma má experiência do usuário, ...
bloquear o diretório de rastreamento do mecanismo de pesquisa
Meu site tem uma estrutura de URL (mais longa) como esta http://www.example.com/xyz-pqr/abcd-efgh/123.html [http://www.example.com/xyz-pqr/abcd-efgh/123.html] Portanto, há no máximo três níveis de diretório, mas, devido ao CMS e ...
Curingas no robots.txt
Se no site do WordPress eu tenho categorias nesta ordem: -Parent --Child ---SubchildTenho permalinks definidos para:% category% /% postname% Vamos usar um exemplo. Crio post com o nome "Sport game". Sua marca é esporte-jogo. Seu URL completo é: ...
É possível listar vários user agents em uma linha?
É possível no robots.txt dar uma instrução para vários bots sem ter que mencioná-la repetidamente?Exemplo:
Python, Mechanize - solicitação não permitida pelo robots.txt mesmo depois de set_handle_robots e add_headers
Eu fiz um web crawler que recebe todos os links até o primeiro nível de página e deles obtém todos os links e texto, além de imagelinks e alt. aqui está o có...
A linha do User-Agent no robots.txt é uma correspondência exata ou uma correspondência de substring?
Quando um rastreador lê a linha User-Agent de um arquivo robots.txt, ele tenta correspondê-lo exatamente ao seu próprio User-Agent ou ele tenta associá-lo co...