Eliminar el ensamblaje cargado actualmente

En mi aplicación viene con un desinstalador. Todo funciona bien, excepto que no puedo encontrar una manera de eliminar el archivo uninstaller.exe cuando está listo.

Intenté copiar el exe de ensamblaje actual en un directorio temporal, pero el identificador de archivo del archivo original todavía está bloqueado.

¿Algunas ideas?