Resultados de la búsqueda a petición "robots.txt"
Regexp para robots.txt
Estoy intentando configurar mi archivo robots.txt, pero no estoy seguro acerca de las expresiones regulares. Tengo cuatro páginas diferentes, todas disponibles en tres idiomas diferentes. En lugar de enumerar cada página por 3, pensé que ...
¿Detener los robots abusivos del rastreo?
¿¿Es esta una buena idea? http: //browsers.garykeith.com/stream.asp? RobotsTXT [http://browsers.garykeith.com/stream.asp?RobotsTXT] ¿Qué significa el rastreo abusivo? ¿Cómo es eso malo para mi sitio?
robots.txt solo permite root, ¿no permite todo lo demás?
Parece que no puedo hacer que esto funcione, pero parece realmente básico. Quiero que se rastree la raíz del dominio http://www.example.comPero nada más se debe rastrear y todos los subdirectorios son dinámicos http://www.example.com/*Lo ...
Facebook y Crawl-delay en Robots.txt?
os robots webcrawling de @Do respetan elCrawl-delay: [http://en.wikipedia.org/wiki/Robots_exclusion_standard#Crawl-delay_directive] directiva enrobots.txt archivos?
¿Ignora las URL en robot.txt con parámetros específicos?
Me gustaría que Google ignore las URL como esta: http: //www.mydomain.com/new-printers? dir = asc & order = price & p = 3 [http://www.mydomain.com/new-printers?dir=asc&order=price&p=3] Todas las URL que tengan los parámetros dir, orden y ...