¿Es posible enumerar múltiples agentes de usuario en una línea?

¿Es posible en robots.txt dar una instrucción a varios bots sin tener que mencionarlo repetidamente?Ejemplo:

robots.txt para no permitir todas las páginas excepto una? ¿Anulan y en cascada?

Quiero que una página de mi sitio sea rastreada y ninguna otra.Además, si es diferente a la respuesta anterior, también me gustaría conocer la sintaxis para ...

Cómo crear un archivo robots.txt para ocultar una página nueva de los motores de búsqueda en codeigniter

Cómo crear un archivo robots.txt en un proyecto de codeigniter para ocultar una página de vista. ¿Dónde debería colocar este archivo robots.txt actualmente h...

Carpetas de rieles robots.txt

Django sirviendo robots.txt eficientemente

Python, Mechanize - solicitud rechazada por robots.txt incluso después de set_handle_robots y add_headers

¿Es la línea User-Agent en robots.txt una coincidencia exacta o una coincidencia de subcadena?

¿Cómo agregar una ruta al archivo robots.txt dinámico en ASP.NET MVC?

Tengo un archivo robots.txt que no es estático sino que se genera dinámicamente. Mi problema es crear una ruta desde la raíz / robots.txt a la acción de mi c...

Archivo robots.txt para diferentes dominios del mismo sitio

Robots.txt denegar, para un #! URL

Estoy intentando agregar una regla de denegación a un archivo robots.txt para denegar el acceso a una sola página.Las URL del sitio web funcionan de la sigui...