¿Cuándo un navegador NO realiza una solicitud al servidor de un archivo?

En otras palabras, tengo un archivo JavaScript que se sirve. Su encabezado de respuesta HTTP tiene unETag, Cache-Control: publicyExpires: Tue, 19 Jan 2038 03:14:07 GMT.

El servidor está devolviendo un304 después de que el caché del navegador ha sido cebado.

Mi pregunta es, ¿por qué el navegador incluso verifica con el servidor y obtiene un304 ¿en primer lugar? No quiero que el navegador pregunte si hay una nueva versión; debería cargarse directamente desde la memoria caché del navegador sin verificar las modificaciones con el servidor que sirve el script.

¿Qué combinación de encabezados de respuesta HTTP logra esto?