Resultados de la búsqueda a petición "robots.txt"
Formato de URL de robots.txt
De acuerdo aesta páginael globo y la expresión regular no son compatibles con el agente de usuario ni con las líneas no permitidasSin embargo, me di cuenta d...
Cómo crear un archivo robots.txt para ocultar una página nueva de los motores de búsqueda en codeigniter
Cómo crear un archivo robots.txt en un proyecto de codeigniter para ocultar una página de vista. ¿Dónde debería colocar este archivo robots.txt actualmente h...
Comodines en robots.txt
Si en el sitio web de WordPress tengo categorías en este orden: -Parent --Child ---SubchildTengo enlaces permanentes establecidos en:% category% /% postname% Dejemos usar un ejemplo. Creo una publicación con el nombre "Juego deportivo". Su ...
¿Las subcarpetas relacionadas deben rechazarse por separado en robots.txt?
¿No permitir ciertas carpetas en robots.txt no permitirá sus subcarpetas relacionadas? Ejemplo: Disallow:/folder/Coincidirá: /folder/page /folder/subfolder/pageO simplemente coincidirá: /folder/pageEntonces, si el segundo caso es verdadero, ...
¿Qué significa el signo de dólar en robots.txt?
Tengo curiosidad acerca de un sitio web y quiero hacer un poco de rastreo web en el/s camino.Su robots.txt [http://mp.weixin.qq.com/robots.txt]: User-Agent: * Allow: /$ Allow: /debug/ Allow: /qa/ Allow: /wiki/ Allow: /cgi-bin/loginpage Disallow: ...
Archivo Robots.txt en MVC.NET 4
He leído un artículo sobre ignorar los robots de alguna url en mi proyecto ASP MVC.NET. En su artículo, el autor dijo que deberíamos agregar alguna acción en algunos controladores fuera de este tipo. En este ejemplo, agrega la acción al Home ...
No puedo acceder a Robots.txt en Spring-MVC
Estoy tratando de dar acceso arobots.txt en Spring-MVC. Para probar el código, pongorobots.txt enWebContent,Root yWEB-INF pero no puedo acceder a ninguno de ellos. Ya he aplicado las respuestas a estas ...