Excluir assembly atualmente carregado

Na minha aplicação vem com um desinstalador. Tudo está funcionando bem, exceto que não consigo encontrar nenhuma maneira de excluir o arquivo uninstaller.exe quando tudo estiver pronto.

Eu tentei copiar o assembly atual exe em um diretório temporário, mas o identificador de arquivo do arquivo original ainda está bloqueado.

Alguma ideia?