As imagens HTML5 substitutas estão sendo carregadas pelo navegador, mesmo que o vídeo HTML5 seja suportado

Tenho alguns vídeos HTML5 com GIFs animados como substituto. Infelizmente, os GIFs estão sendo carregados, mesmo que o vídeo HTML5 seja suportado.

Sem usar o javascript, existe uma maneira de impedir o navegador de baixar conteúdo HTML5 substituto? Caso contrário, vou usar o jquery, mas queria saber se havia uma solução não-js.

<video>
  <source src="animation-1.mp4" type="video/mp4">
  <img src="animation-1.gif">
</video>
<video>
  <source src="animation-2.mp4" type="video/mp4">
  <img src="animation-2.gif">
</video>
<video>
  <source src="animation-3.mp4" type="video/mp4">
  <img src="animation-3.gif">
</video>

O inspetor de rede mostra que o Firefox (e também o Chrome) estão definitivamente baixando os GIFs:

questionAnswers(0)

yourAnswerToTheQuestion