Como é possível ver na captura de tela, a maior parte do tempo gasto está aguardando uma resposta do servidor (essa é a área de cor roxa).

O que exatamente é esse tempo de resposta do servidor? O servidor está muito lento? Minha conexão é muito lenta? O servidor não pode processar muita informação de uma vez (eu tenho muitos arquivos lá, eu sei que vou combiná-los para menos)? O que eu tenho que fazer para minimizar esse tempo de espera?

PS. Todos os dados estão no mesmo servidor, mas estou usando subdomínios para que o navegador possa processar mais arquivos de uma só vez.