La solicitud System.Net.WebClient obtiene 403 Prohibida pero los navegadores no lo hacen con servidores Apache
Extraño, estoy tratando de leer la sección <Head> de muchos sitios web diferentes, y un tipo particular de servidor, Apache, a veces da el código 403 prohibido. No todos los servidores apache hacen esto, por lo que puede ser una configuración o una versión particular del servidor.
Cuando reviso la url con un navegador web (Firefox, por ejemplo), la página se carga bien. El código más o menos se ve así:
var client = new WebClient();
var stream = client.OpenRead(new Uri("http://en.wikipedia.org/wiki/Barack_Obama"));
Normalmente, un 403 es una falla de permiso de acceso, pero normalmente son páginas no seguras. Estoy pensando que Apache está filtrando algo en los encabezados de solicitud ya que no me estoy molestando en crear ninguno.
Quizás alguien que sepa más sobre Apache pueda darme algunas ideas sobre lo que falta en los encabezados. Me gustaría mantener los encabezados lo más pequeños posible para minimizar el ancho de banda.
Gracias