Quando um navegador NÃO faz uma solicitação ao servidor para um arquivo?

Em outras palavras, tenho um arquivo JavaScript em exibição. Seu cabeçalho de resposta HTTP possui umETag, Cache-Control: publiceExpires: Tue, 19 Jan 2038 03:14:07 GMT.

O servidor está retornando um304 após o cache do navegador ter sido preparado.

Minha pergunta é: por que o navegador está mesmo verificando com o servidor e obtendo uma304 em primeiro lugar? Não quero que o navegador pergunte se há uma nova versão - ele deve carregar diretamente do cache do navegador sem verificar se há modificações no servidor que está servindo o script.

Que combinação de cabeçalhos de resposta HTTP realiza isso?