System.Net.WebClient запрос получает 403 Запрещено, но браузеры не с серверами Apache
Странно, я пытаюсь прочитать раздел <Head> на многих сайтах, и один конкретный тип сервера, Apache, иногда запрещает код 403. Не все серверы Apache делают это, поэтому это может быть параметр конфигурации или конкретная версия сервера.
Когда я проверяю URL с помощью веб-браузера (например, Firefox), страница загружается нормально. Код Сорта выглядит так:
var client = new WebClient();
var stream = client.OpenRead(new Uri("http://en.wikipedia.org/wiki/Barack_Obama"));
Обычно 403 - это проблема с разрешением доступа, но обычно это небезопасные страницы. Я думаю, что Apache фильтрует что-то в заголовках запросов, так как я не пытаюсь их создавать.
Возможно, кто-то, кто знает больше об Apache, может дать мне несколько идей о том, чего не хватает в заголовках. Я бы хотел, чтобы заголовки были как можно меньше, чтобы минимизировать пропускную способность.
Спасибо