Carpetas de rieles robots.txt

Cómo crear un archivo robots.txt para ocultar una página nueva de los motores de búsqueda en codeigniter

Cómo crear un archivo robots.txt en un proyecto de codeigniter para ocultar una página de vista. ¿Dónde debería colocar este archivo robots.txt actualmente h...

robots.txt para no permitir todas las páginas excepto una? ¿Anulan y en cascada?

Quiero que una página de mi sitio sea rastreada y ninguna otra.Además, si es diferente a la respuesta anterior, también me gustaría conocer la sintaxis para ...

¿Es posible enumerar múltiples agentes de usuario en una línea?

¿Es posible en robots.txt dar una instrucción a varios bots sin tener que mencionarlo repetidamente?Ejemplo:

Cómo bloquear que los motores de búsqueda indexen todas las URL que comienzan con origin.domainname.com

Tengo www.domainname.com, origin.domainname.com apuntando a la misma base de código. ¿Hay alguna manera de evitar que se indexen todas las URL del nombre base origin.domainname.com? ¿Hay alguna regla en robot.txt para hacerlo? Ambas URL apuntan ...

Angular2 + webpack no despliega robots.txt

Estoy creando un sitio web con [email protected]. Estoy usando Webpack con la configuración predeterminada (como dependencia). Aquí está mi paquete.json "dependencies": { "@angular/common": "2.1.2", "@angular/compiler": "2.1.2", "@angular/core": ...

¿La cadena del agente de usuario tiene que ser exactamente como aparece en los registros de mi servidor?

Al usar un archivo Robots.txt, ¿la cadena del agente de usuario debe ser exactamente como aparece en los registros de mi servidor? Por ejemplo, cuando intento hacer coincidir GoogleBot, ¿puedo usargooglebot? Además, ¿funcionará un partido ...

Comodines en robots.txt

Si en el sitio web de WordPress tengo categorías en este orden: -Parent --Child ---SubchildTengo enlaces permanentes establecidos en:% category% /% postname% Dejemos usar un ejemplo. Creo una publicación con el nombre "Juego deportivo". Su ...

¿Por qué Chrome solicita un archivo robots.txt?

He notado en mis registros que Chrome solicitó unrobots.txt junto a todo lo que esperaba. [...] 2017-09-17 15:22:35 - (sanic)[INFO]: Goin' Fast @ http://0.0.0.0:8080 2017-09-17 15:22:35 - (sanic)[INFO]: Starting worker [26704] 2017-09-17 ...

No permitir o Noindex en el subdominio con robots.txt

Tengo dev.example.com y www.example.com alojados en diferentes subdominios. Quiero que los rastreadores eliminen todos los registros dedev subdominio pero mantenlos enwww. Estoy usando git para almacenar el código para ambos, por lo que ...