HtmlAgilityPack e autenticação
Eu tenho um método para obter ids e xpaths se determinado URL. Como transmito o nome de usuário e a senha com a solicitação para poder raspar uma URL que exija um nome de usuário e senha?
using HtmlAgilityPack;
_web = new HtmlWeb();
internal Dictionary<string, string> GetidsAndXPaths(string url)
{
var webidsAndXPaths = new Dictionary<string, string>();
var doc = _web.Load(url);
var nodes = doc.DocumentNode.SelectNodes("//*[@id]");
if (nodes == null) return webidsAndXPaths;
// code to get all the xpaths and ids
Devo usar uma solicitação da Web para obter a fonte da página e depois passar esse arquivo para o método acima?
var wc = new WebClient();
wc.Credentials = new NetworkCredential("UserName", "Password");
wc.DownloadFile("http://somewebsite.com/page.aspx", @"C:\localfile.html");