Estou tentando ocultar uma div se o usuário clicar em qualquer lugar, exceto no pop-up OU nos filhos. Este é o código que tenho até agora:

$("body").click(function(){
    var $target = $(event.target);
    if(!$target.is(".popup") || !$target.is(".popup").children()){
        $("body").find(".popup").fadeOut().removeClass('active');
    }
});

Ele funciona para a div. Popup, mas se algum dos filhos for clicado, ele oculta assim mesmo.