Я немного запутался, стоит ли мне удалять метатег robots, если я хочу, чтобы поисковые системы следовали моим правилам robots.txt.

Если на странице существует метатег robots (index, follow), будут ли поисковые системы игнорировать мой файл robots.txt и проиндексировать указанные запрещенные URL-адреса в моем robots.txt?

Причина, по которой я спрашиваю об этом, заключается в том, что поисковые системы (в основном Google) по-прежнему индексируют запрещенные страницы с моего сайта.