O Googlebot parece estar rastejando dentro do meu jQuery e criando links que terminam em / a que não existem e, em seguida, relatando-os como erros 40

http://www.mySite.com/a

O site valida o verde no W3C.

O "/ a" vem do próprio jQuery. Edit: A seguir está uma linha de código no jQuery v1.5 e 1.5.2 (os dois únicos que eu olhei dentro)

<a href='/a' style='color:red;float:left;opacity:.55;'>a</a>

or enquanto, estou redirecionando-o no htaccess antes que fique fora de controle ...

Redirect 301   /a   http://www.mysite.com

Alguém sabe por que / como o Googlebot entraria no jQuery?

EDITAR

Desde então, bloqueei o arquivo jQuery com o arquivo robots.txt, mas realmente não esperava que o Googlebot fosse para arquivos JavaScript externos.

EDIT 2:

A seguir, uma resposta do funcionário do Google JohnMu sobre esse problema emo tópico que comecei nos Grupos do Google. Parece que eu vou fazer o 301 depois de tudo.

JohnMu

Google Employee

4: 39

Oi pessoa

Apenas uma breve observação sobre isso - sim, estamos pegando o link "/ a" para muitos sites do jQuery JavaScript. No entanto, isso geralmente não é um problema, se considerarmos "/ a" um 404, então tudo bem para nós. Assim como em outros URLs 404, listamos como erro de rastreamento nas Ferramentas do Google para webmasters, mas, novamente, isso não será um problema para rastreamento, indexação ou classificação. Se você quiser garantir que ele não acione um erro de rastreamento nas Ferramentas do Google para webmasters, recomendo apenas 301 redirecionar esse URL para sua página inicial (não permitir o URL também o exibirá como erro de rastreamento - ele será listado como um URL não permitido pelo robots.txt).

I também recomendaria não proibir explicitamente o rastreamento do arquivo jQuery. Embora geralmente não o indexemos por conta própria, talvez seja necessário acessá-lo para gerar boas visualizações instantâneas para o seu site.

Então, para resumir: se você estiver vendo "/ a" nos erros de rastreamento nas Ferramentas do Google para webmasters, pode deixar assim, pois não causará problemas. Se você quiser removê-lo, pode fazer um redirecionamento 301 para sua página inicial.

Felicidade

Joh