Resultados de la búsqueda a petición "robots.txt"
Facebook y Crawl-delay en Robots.txt?
os robots webcrawling de @Do respetan elCrawl-delay: [http://en.wikipedia.org/wiki/Robots_exclusion_standard#Crawl-delay_directive] directiva enrobots.txt archivos?
¿Por qué Chrome solicita un archivo robots.txt?
He notado en mis registros que Chrome solicitó unrobots.txt junto a todo lo que esperaba. [...] 2017-09-17 15:22:35 - (sanic)[INFO]: Goin' Fast @ http://0.0.0.0:8080 2017-09-17 15:22:35 - (sanic)[INFO]: Starting worker [26704] 2017-09-17 ...
Regexp para robots.txt
Estoy intentando configurar mi archivo robots.txt, pero no estoy seguro acerca de las expresiones regulares. Tengo cuatro páginas diferentes, todas disponibles en tres idiomas diferentes. En lugar de enumerar cada página por 3, pensé que ...
Angular2 + webpack no despliega robots.txt
Estoy creando un sitio web con [email protected]. Estoy usando Webpack con la configuración predeterminada (como dependencia). Aquí está mi paquete.json "dependencies": { "@angular/common": "2.1.2", "@angular/compiler": "2.1.2", "@angular/core": ...
Comodines en robots.txt
Si en el sitio web de WordPress tengo categorías en este orden: -Parent --Child ---SubchildTengo enlaces permanentes establecidos en:% category% /% postname% Dejemos usar un ejemplo. Creo una publicación con el nombre "Juego deportivo". Su ...
¿Es posible enumerar múltiples agentes de usuario en una línea?
¿Es posible en robots.txt dar una instrucción a varios bots sin tener que mencionarlo repetidamente?Ejemplo:
Cómo rechazar las páginas de búsqueda de robots.txt
Necesito rechazarhttp://example.com/startup?page=2 búsqueda de páginas de ser indexadas.quierohttp://example.com/startup para ser indexado pero nohttp://exam...
¿Cómo agregar una ruta al archivo robots.txt dinámico en ASP.NET MVC?
Tengo un archivo robots.txt que no es estático sino que se genera dinámicamente. Mi problema es crear una ruta desde la raíz / robots.txt a la acción de mi c...
robots.txt para no permitir todas las páginas excepto una? ¿Anulan y en cascada?
Quiero que una página de mi sitio sea rastreada y ninguna otra.Además, si es diferente a la respuesta anterior, también me gustaría conocer la sintaxis para ...