Diferença do SQL Server (oposto à interseção)

Procurando a maneira mais fácil / escalável de fazer uma "diferença" definida no SQL Server, veja abaixo.

Se você não pode ver pela imagem, estou procurando tudo o que não está no cruzamento.

Eu vi uma maneira de fazer isso:

select * from (      
    (select 'test1' as a, 1 as b)
 union all
  (select 'test2' as a , 2 as b union all select 'test1' as a , 1 as b )
)un group by a,b  having count(1)=1

Mas temo o que aconteceria se eu usasse dois conjuntos grandes (não consultarei as instruções constantes select '', minhas consultas serão extraídas de tabelas reais).

EDITAR:

Solução possível...

drop table #temp_a;
drop table #temp_b;

 go


  select * into #temp_a from (
   select 1 as num, 'String' as two, 'int'as three, 'purple' as four union all
   select 2 as num, 'dog' as two, 'int'as three, 'purple' as four union all
   select 3 as num, 'dog' as two, 'int'as three, 'cat' as four ) a 

select * into #temp_b from (
  select 1 as num, 'String' as two, 'decimal'as three, 'purple' as four union all
  select 2 as num, 'dog' as two, 'int'as three, 'purple' as four union all
  select 3 as num, 'dog' as two, 'int'as three, 'dog' as four ) b 





   SELECT IsNull(a.num, b.num) A,IsNull(a.two, b.two) B, IsNull(a.three, b.three) C,                  
      IsNull(a.four, b.four) D 
     FROM #temp_a a 
   FULL OUTER JOIN #temp_b b ON (a.num=b.num AND a.two=b.two and a.three=b.three and a.four=b.four)
    WHERE   (a.num is null or b.num is null  )

RESULTADOS:

1 String int purple

3 dog int cat

1 corda dec roxo

3 dog int dog

questionAnswers(3)

yourAnswerToTheQuestion