Estou tentando verificar a existência de uma URL usando o HttpWebRequest. Eu encontrei alguns exemplos que basicamente fazem isso:

<code>HttpWebRequest request = (HttpWebRequest)HttpWebRequest.Create(Url);
request.Method = "HEAD";
using (HttpWebResponse response = request.GetResponse() as HttpWebResponse)
{
    return response.StatusCode;
}
</code>

No entanto, se a url estiver realmente quebrada, ela não está retornando uma resposta, ela está lançando uma exceção.

Eu modifiquei meu código para isso:

<code>try
{
    HttpWebRequest request = (HttpWebRequest)HttpWebRequest.Create(Url);
    request.Method = "HEAD";
    using (HttpWebResponse response = request.GetResponse() as HttpWebResponse)
    {
        return response.StatusCode;
    }
}
catch (System.Net.WebException ex)
{
    var response = ex.Response as HttpWebResponse;
    return response == null ? HttpStatusCode.InternalServerError : response.StatusCode;
}
</code>

que parece finalmente fazer o que eu quero.

Mas eu gostaria de saber, por que a solicitação está lançando uma exceção em vez de retornar a resposta com um código de status NotFound?