As subpastas relacionadas precisam ser desabilitadas separadamente no robots.txt?
A proibição de determinada pasta no robots.txt não permitirá suas subpastas relacionadas? Exemplo:
Disallow:/folder/
Corresponderá:
/folder/page
/folder/subfolder/page
Ou apenas corresponderá:
/folder/page
Portanto, se o segundo caso for verdadeiro, preciso desabilitar a segunda e a subpasta subsequente separadamente?
Disallow: /folder/
Disallow /folder/subfolder/
Disallow /folder/subfolder/onemorefolder