Resultados de la búsqueda a petición "robots.txt"
No permitir o Noindex en el subdominio con robots.txt
Tengo dev.example.com y www.example.com alojados en diferentes subdominios. Quiero que los rastreadores eliminen todos los registros dedev subdominio pero mantenlos enwww. Estoy usando git para almacenar el código para ambos, por lo que ...
¿La cadena del agente de usuario tiene que ser exactamente como aparece en los registros de mi servidor?
Al usar un archivo Robots.txt, ¿la cadena del agente de usuario debe ser exactamente como aparece en los registros de mi servidor? Por ejemplo, cuando intento hacer coincidir GoogleBot, ¿puedo usargooglebot? Además, ¿funcionará un partido ...
Facebook y Crawl-delay en Robots.txt?
os robots webcrawling de @Do respetan elCrawl-delay: [http://en.wikipedia.org/wiki/Robots_exclusion_standard#Crawl-delay_directive] directiva enrobots.txt archivos?
¿Cómo configuro nginx para redirigir a una url para robots.txt & sitemap.xml?
Estoy ejecutando nginx 0.6.32 como una interfaz de usuario para couchdb. Tengo mi robots.txt en la base de datos, accesible comohttp://www.example.com/prod/_...
¿Ignora las URL en robot.txt con parámetros específicos?
Me gustaría que Google ignore las URL como esta: http: //www.mydomain.com/new-printers? dir = asc & order = price & p = 3 [http://www.mydomain.com/new-printers?dir=asc&order=price&p=3] Todas las URL que tengan los parámetros dir, orden y ...