Estoy un poco confundido sobre si debo eliminar la metaetiqueta de robots, si quiero que los motores de búsqueda sigan mis reglas de robots.txt.

Si la metaetiqueta de robots (index, follow) existe en la página, ¿los motores de búsqueda ignorarán mi archivo robots.txt e indexarán las URL no permitidas especificadas en mi robots.txt de todos modos?

La razón por la que pregunto sobre esto es que los motores de búsqueda (principalmente Google) todavía indexan las páginas no permitidas de mi sitio web.