A solicitação System.Net.WebClient é 403 Proibida, mas os navegadores não com servidores Apache
Estranho, estou tentando ler a seção <Head> de muitos sites diferentes por aí, e um tipo específico de servidor, o Apache, às vezes dá o código 403 proibido. Nem todos os servidores apache fazem isso, portanto, pode ser uma configuração ou uma versão específica do servidor.
Quando eu checo o URL com um navegador da Web (Firefox, por exemplo), a página carrega bem. O código meio que fica assim:
var client = new WebClient();
var stream = client.OpenRead(new Uri("http://en.wikipedia.org/wiki/Barack_Obama"));
Normalmente, um 403 é um tipo de falha na permissão de acesso, mas normalmente são páginas não seguras. Estou pensando que o Apache está filtrando algo nos cabeçalhos da solicitação, já que não estou me preocupando em criar nenhum.
Talvez alguém que saiba mais sobre o Apache possa me dar algumas idéias do que está faltando nos cabeçalhos. Eu gostaria de manter os cabeçalhos o menor possível para minimizar a largura de banda.
obrigado