Будет ли запрещение определенной папки в robots.txt запретить связанные с ней подпапки? Пример:

Disallow:/folder/

Будет соответствовать:

/folder/page
/folder/subfolder/page

Или это будет просто соответствовать:

/folder/page

Так что, если второй случай верен, мне нужно запретить вторую и последующую подпапку отдельно?

Disallow: /folder/

Disallow  /folder/subfolder/

Disallow /folder/subfolder/onemorefolder