Detectar desconexão do cliente com o HttpListener

Eu tenho um aplicativo que usa HttpListener, eu preciso saber quando o cliente desconectou, agora eu tenho todo o meu código dentro de um bloco try / catch que é muito feio e não uma boa prática.

Como posso saber se um cliente desconectou?

obrigado!