Resultados de la búsqueda a petición "robots.txt"
¿Las subcarpetas relacionadas deben rechazarse por separado en robots.txt?
¿No permitir ciertas carpetas en robots.txt no permitirá sus subcarpetas relacionadas? Ejemplo: Disallow:/folder/Coincidirá: /folder/page /folder/subfolder/pageO simplemente coincidirá: /folder/pageEntonces, si el segundo caso es verdadero, ...
¿Cómo ocultar el directorio del sitio web de los motores de búsqueda sin Robots.txt?
Sabemos que podemos evitar que los motores de búsqueda indexen directorios en nuestro sitio usando robots.txt. Pero esto, por supuesto, tiene la desventaja de publicitar directorios que no queremos encontrar a posibles atacantes. La protección ...
¿Debo eliminar los meta-robots (indexar, seguir) cuando tengo un archivo robots.txt?
Estoy un poco confundido sobre si debo eliminar la metaetiqueta de robots, si quiero que los motores de búsqueda sigan mis reglas de robots.txt. Si la metaetiqueta de robots (index, follow) existe en la página, ¿los motores de búsqueda ignorarán ...
Robots.txt: ¿es válida esta regla comodín?
Pregunta simple. Quiero agregar: Disallow */*details-print/Básicamente, las reglas de bloqueo en forma de/foo/bar/dynamic-details-print --- foo y bar en este ejemplo también pueden ser totalmente dinámicos. Pensé que esto sería simple, pero ...
¿Qué significa el signo de dólar en robots.txt?
Tengo curiosidad acerca de un sitio web y quiero hacer un poco de rastreo web en el/s camino.Su robots.txt [http://mp.weixin.qq.com/robots.txt]: User-Agent: * Allow: /$ Allow: /debug/ Allow: /qa/ Allow: /wiki/ Allow: /cgi-bin/loginpage Disallow: ...
Archivo Robots.txt en MVC.NET 4
He leído un artículo sobre ignorar los robots de alguna url en mi proyecto ASP MVC.NET. En su artículo, el autor dijo que deberíamos agregar alguna acción en algunos controladores fuera de este tipo. En este ejemplo, agrega la acción al Home ...
Analizador de robots.txt java
Quiero saber cómo analizar el archivo robots.txt en java. ¿Ya hay algún código?
No puedo acceder a Robots.txt en Spring-MVC
Estoy tratando de dar acceso arobots.txt en Spring-MVC. Para probar el código, pongorobots.txt enWebContent,Root yWEB-INF pero no puedo acceder a ninguno de ellos. Ya he aplicado las respuestas a estas ...
¿Cómo rechazo una página específica de robots.txt?
Estoy creando dos páginas en mi sitio que son muy similares pero tienen diferentes propósitos. Una es agradecer a los usuarios por dejar un comentario y la otra es alentar a los usuarios a suscribirse. No quiero el contenido duplicado, pero sí ...
¿Cómo puedo servir robots.txt en un SPA usando el servidor React with Firebase?
Tengo un SPA construido usandocreate-react-app y desea tener un archivo robots.txt como este: http://example.com/robots.txt Veo enesta págin [https://github.com/ReactTraining/react-router/issues/3023] ese Debe asegurarse de que su servidor ...