Consulta SQL para contar o número de vezes que certos valores ocorrem em várias linhas

Suponha que eu tenha uma tabela de dados eleitorais, chame de ELEIÇÕES, com uma linha por eleitor por eleição, da seguinte forma:

VoterID ElectionID
A           1
A           2
B           1
C           2
D           3
E           1
E           2

Quero saber o número de eleitores que votaram na eleição 1 e na eleição 2; Eu não ligo para mais ninguém. O número deve ser 2 (eleitor A e Eleitor E).

Algo assim funcionaria:

select count(Elections) as NumVoters
from (
select VoterID, ElectionID, count(ElectionID) as Elections
from ELECTIONS
where ElectionID=1 or ElectionID=2
group by VoterID
having (count(ElectionID)=2)
) x;

ATUALIZAÇÃO: Esta é minha primeira pergunta aqui, e estou impressionado com o quão útil e rápido as pessoas têm sido. Revisei a consulta acima para corrigir a falta de um alias no final e adicionar um ponto e vírgula final.

OBRIGADO!

questionAnswers(5)

yourAnswerToTheQuestion