Detectar la desconexión del cliente con HttpListener

Tengo una aplicación que usa HttpListener, necesito saber cuándo el cliente se desconectó, ahora mismo tengo todo mi código dentro de un bloque try / catch que es bastante feo y no es una buena práctica.

¿Cómo puedo saber si un cliente desconectado?

¡Gracias!