Video mute / unmute con jQuery

Me gustaría hacer un botón de silencio / silencio en jQuery. He realizado algunas búsquedas en Stackoverflow y esto es lo que logré hacer hasta ahora:

$("video").prop('muted', true);

$("#mute-video").click( function (){
    if( $("video").prop('muted', true) )
    {
        $("video").prop('muted', false);
    }

    else {
    $("video").prop('muted', true);
    }

});

pero por alguna razón solo puede activar el silencio, no silenciarlo.

¿Alguna idea de lo que está mal con el código?