Tengo un sitio web de una sola página que enumera una colección de reproductores de audio HTML5. El problema es que el sitio se ha vuelto lento porque los siguientes navegadores comienzan a descargar previamente el contenido (mp3 y ogg)

Internet Explorer
Google Chrome
Firefox
Safari
(probably Opera)

Utilizo el código básico para implementar los jugadores. ¿Hay alguna manera de evitar que los navegadores descarguen previamente los archivos de audio y solo funcionen cuando hacen clic en Reproducir?

<audio controls="controls" height="32" width="300" tabindex="0">
<source type="audio/mpeg" src="http://cdn.com/track.mp3"></source>
<source type="audio/ogg" src="http://cdn.com/track.ogg"></source>
</audio>