Eu inicio meu servidor e atualizo a página em um navegador, o que leva> 2s para carregar o recurso JS. Se eu recarregar a página em qualquer navegador, ele carrega rapidamente.

Isso só está acontecendo a primeira solicitação depois que o servidor foi iniciado. Eu suponho que tenha algo a ver com ele reunindo o arquivo JS pela primeira vez, e depois disso ele é armazenado em cache no servidor.

Alguma coisa pode ser feita para reduzir esse tempo?

Eu tentei tanto com e sem as configurações de produção (gzip, minify etc).

Código do cliente:

<script src="/socket.io/socket.io.js"></script>
<script>
var socket = io.connect();
</script>

Código do servidor:

var express = require('express'),
    expressServer = express.createServer(),
    socketServer = require('socket.io').listen(expressServer);

expressServer.listen(1337);