Estoy confundido acerca de cómo funciona la configuración de HTTP Referrer en las claves del navegador API de Google Maps.

Estoy creando una página web que solicita imágenes de Google Maps mediante programación (principalmente la API de imágenes de Street View de Google Maps, pero también hace algunas consultas de MaxZoomService y la API de Maps estática de la API de Javascript).

Si creo una clave de navegador sin un Referidor HTTP, funciona muy bien.

Si creo una clave del navegador con un referente HTTP que coincide con el dominio desde el que se carga la página, obtengo 403 errores. Estoy usando un referente como*.mydomain.com/*

¿Que esta pasando? Si configuro el Referidor HTTP para que coincida con el dominio desde el que se carga la página, ¿no sería un uso correcto del referidor? Puedo irme, pero me temo que eso me abre para que otros tomen mi llave y la usen. ¿Estoy malinterpretando cómo funciona el referente?