Estou um pouco confuso se devo remover a metatag robots, se quiser que os mecanismos de pesquisa sigam minhas regras do robots.txt.

Se a metatag de robôs (indexar, seguir) existir na página, os mecanismos de pesquisa ignorarão meu arquivo robots.txt e indexarão os URLs não permitidos especificados no meu robots.txt mesmo assim?

A razão pela qual estou perguntando sobre isso é que os mecanismos de pesquisa (principalmente o Google) ainda indexam páginas não permitidas do meu site.