Eu tenho um site de uma única página que lista uma coleção de players de áudio HTML5. O problema é que o site ficou lento porque os seguintes navegadores começam a pré-download do conteúdo (mp3 e ogg)

Internet Explorer
Google Chrome
Firefox
Safari
(probably Opera)

Eu uso o código básico para implementar os jogadores. Existe uma maneira que eu possa impedir os navegadores de pré-baixar os arquivos de áudio e só funcionam quando eles clicam em jogar?

<audio controls="controls" height="32" width="300" tabindex="0">
<source type="audio/mpeg" src="http://cdn.com/track.mp3"></source>
<source type="audio/ogg" src="http://cdn.com/track.ogg"></source>
</audio>