У меня есть метод для получения идентификаторов и путей, если задан конкретный URL. Как передать имя пользователя и пароль с запросом, чтобы я мог очистить URL-адрес, который требует имя пользователя и пароль?

using HtmlAgilityPack;

_web = new HtmlWeb();

internal Dictionary<string, string> GetidsAndXPaths(string url)
{
    var webidsAndXPaths = new Dictionary<string, string>();
    var doc = _web.Load(url);
    var nodes = doc.DocumentNode.SelectNodes("//*[@id]");
    if (nodes == null) return webidsAndXPaths;
    // code to get all the xpaths and ids

Должен ли я использовать веб-запрос для получения исходного кода страницы, а затем передать этот файл в метод выше?

var wc = new WebClient();
wc.Credentials = new NetworkCredential("UserName", "Password");
wc.DownloadFile("http://somewebsite.com/page.aspx", @"C:\localfile.html");