Problemas de video HTML5 (mp4 y ogv) en Safari y Firefox, pero Chrome está todo bien

Tengo el siguiente código: <video width="640" height="360" controls id="video-player" poster="/movies/poster.png"> <source src="/movies/640x360.m4v" type='video/mp4; codecs="avc1.42E01E, mp4a.40.2"'> <source ...