¿Las subcarpetas relacionadas deben rechazarse por separado en robots.txt?

¿No permitir ciertas carpetas en robots.txt no permitirá sus subcarpetas relacionadas? Ejemplo: Disallow:/folder/Coincidirá: /folder/page /folder/subfolder/pageO simplemente coincidirá: /folder/pageEntonces, si el segundo caso es verdadero, ...

¿Detener los robots abusivos del rastreo?

¿¿Es esta una buena idea? http: //browsers.garykeith.com/stream.asp? RobotsTXT [http://browsers.garykeith.com/stream.asp?RobotsTXT] ¿Qué significa el rastreo abusivo? ¿Cómo es eso malo para mi sitio?

¿Cómo agregar una ruta al archivo robots.txt dinámico en ASP.NET MVC?

Tengo un archivo robots.txt que no es estático sino que se genera dinámicamente. Mi problema es crear una ruta desde la raíz / robots.txt a la acción de mi c...

¿Debo eliminar los meta-robots (indexar, seguir) cuando tengo un archivo robots.txt?

Estoy un poco confundido sobre si debo eliminar la metaetiqueta de robots, si quiero que los motores de búsqueda sigan mis reglas de robots.txt. Si la metaetiqueta de robots (index, follow) existe en la página, ¿los motores de búsqueda ignorarán ...

Python, Mechanize - solicitud rechazada por robots.txt incluso después de set_handle_robots y add_headers

¿Cómo ocultar el directorio del sitio web de los motores de búsqueda sin Robots.txt?

Sabemos que podemos evitar que los motores de búsqueda indexen directorios en nuestro sitio usando robots.txt. Pero esto, por supuesto, tiene la desventaja de publicitar directorios que no queremos encontrar a posibles atacantes. La protección ...

cómo no permitir todas las URL dinámicas robots.txt [cerrado]

Cómo no permitir todas las URL dinámicas en robots.txt

Carpetas de rieles robots.txt

Analizador de robots.txt java

Quiero saber cómo analizar el archivo robots.txt en java. ¿Ya hay algún código?

Cómo bloquear que los motores de búsqueda indexen todas las URL que comienzan con origin.domainname.com

Tengo www.domainname.com, origin.domainname.com apuntando a la misma base de código. ¿Hay alguna manera de evitar que se indexen todas las URL del nombre base origin.domainname.com? ¿Hay alguna regla en robot.txt para hacerlo? Ambas URL apuntan ...