Como ocultar um pop-up clicando fora

Eu estou tentando chegar a uma maneira para que uma vez # email-popup ou # phone-popup esteja visível, se o usuário clicar em qualquer lugar EXCETO o pop-up visível, então ele irá ocultar o pop-up.

Meu método para esconder os popups no código abaixo não funciona bem ...

Meu JQuery até agora

$(".email").click(function(){
    $("#email-popup").show("fast");
});
$(".phone").click(function(){
   $("#phone-popup").show();
});

$(document).click(function() {
     $("#email-popup").hide("fast");                        
     $("#phone-popup").hide("fast");
});

questionAnswers(3)

yourAnswerToTheQuestion