¿Las subcarpetas relacionadas deben rechazarse por separado en robots.txt?
¿No permitir ciertas carpetas en robots.txt no permitirá sus subcarpetas relacionadas? Ejemplo:
Disallow:/folder/
Coincidirá:
/folder/page
/folder/subfolder/page
O simplemente coincidirá:
/folder/page
Entonces, si el segundo caso es verdadero, ¿debo rechazar la segunda y subsecuente subcarpeta por separado?
Disallow: /folder/
Disallow /folder/subfolder/
Disallow /folder/subfolder/onemorefolder