Resultados de la búsqueda a petición "robots.txt"
¿Cómo puedo servir robots.txt en un SPA usando el servidor React with Firebase?
Tengo un SPA construido usandocreate-react-app y desea tener un archivo robots.txt como este: http://example.com/robots.txt Veo enesta págin [https://github.com/ReactTraining/react-router/issues/3023] ese Debe asegurarse de que su servidor ...
¿Por qué Chrome solicita un archivo robots.txt?
He notado en mis registros que Chrome solicitó unrobots.txt junto a todo lo que esperaba. [...] 2017-09-17 15:22:35 - (sanic)[INFO]: Goin' Fast @ http://0.0.0.0:8080 2017-09-17 15:22:35 - (sanic)[INFO]: Starting worker [26704] 2017-09-17 ...
Angular2 + webpack no despliega robots.txt
Estoy creando un sitio web con [email protected]. Estoy usando Webpack con la configuración predeterminada (como dependencia). Aquí está mi paquete.json "dependencies": { "@angular/common": "2.1.2", "@angular/compiler": "2.1.2", "@angular/core": ...
No puedo acceder a Robots.txt en Spring-MVC
Estoy tratando de dar acceso arobots.txt en Spring-MVC. Para probar el código, pongorobots.txt enWebContent,Root yWEB-INF pero no puedo acceder a ninguno de ellos. Ya he aplicado las respuestas a estas ...
Archivo Robots.txt en MVC.NET 4
He leído un artículo sobre ignorar los robots de alguna url en mi proyecto ASP MVC.NET. En su artículo, el autor dijo que deberíamos agregar alguna acción en algunos controladores fuera de este tipo. En este ejemplo, agrega la acción al Home ...
¿Qué significa el signo de dólar en robots.txt?
Tengo curiosidad acerca de un sitio web y quiero hacer un poco de rastreo web en el/s camino.Su robots.txt [http://mp.weixin.qq.com/robots.txt]: User-Agent: * Allow: /$ Allow: /debug/ Allow: /qa/ Allow: /wiki/ Allow: /cgi-bin/loginpage Disallow: ...
¿Debo eliminar los meta-robots (indexar, seguir) cuando tengo un archivo robots.txt?
Estoy un poco confundido sobre si debo eliminar la metaetiqueta de robots, si quiero que los motores de búsqueda sigan mis reglas de robots.txt. Si la metaetiqueta de robots (index, follow) existe en la página, ¿los motores de búsqueda ignorarán ...
¿Cómo ocultar el directorio del sitio web de los motores de búsqueda sin Robots.txt?
Sabemos que podemos evitar que los motores de búsqueda indexen directorios en nuestro sitio usando robots.txt. Pero esto, por supuesto, tiene la desventaja de publicitar directorios que no queremos encontrar a posibles atacantes. La protección ...
¿Las subcarpetas relacionadas deben rechazarse por separado en robots.txt?
¿No permitir ciertas carpetas en robots.txt no permitirá sus subcarpetas relacionadas? Ejemplo: Disallow:/folder/Coincidirá: /folder/page /folder/subfolder/pageO simplemente coincidirá: /folder/pageEntonces, si el segundo caso es verdadero, ...
Comodines en robots.txt
Si en el sitio web de WordPress tengo categorías en este orden: -Parent --Child ---SubchildTengo enlaces permanentes establecidos en:% category% /% postname% Dejemos usar un ejemplo. Creo una publicación con el nombre "Juego deportivo". Su ...