jQuery em clique em tudo, mas um div e é crianças

Eu quero fazer algo quando clico em qualquer lugar, exceto quando clico em uma div e são crianças. Isso é o que eu tentei até agora, mas não está funcionando (clicar em seus filhos ainda executa o que está dentro dos colchetes.

$('body').on('click', '* :not(#calculator)',  function(e){

Eu não posso usar algo assim:

jQuery - Selecione tudo, exceto um único elemento e seus filhos?

$("body > *").not("body > #elementtokeep").remove();

Porque o.not função não é algo que eu possa colocar dentro do.on() função.

Como posso conseguir isso?

questionAnswers(4)

yourAnswerToTheQuestion