Eu quero criar um aplicativo web scrapper e eu quero fazê-lo com o controle webbrowser, htmlagilitypack e xpath.

agora eu consegui criar o xpath generator (usei o webbrowser para esse propósito), o que funciona bem, mas às vezes eu não consigo pegar dinamicamente (via javascript ou ajax) conteúdo gerado. Também descobri que quando o controle webbrowser (na verdade navegador IE) gera algumas tags extras como "tbody", enquanto novamente htmlagilitypack htmlWeb.Load (webBrowser.DocumentStream); `não vê isso.

outra nota. Eu descobri que o seguinte código realmente pega a fonte atual da página, mas eu não poderia fornecer o pacote htmlagilitypack (mshtml.IHTMLDocument3) webBrowser.Document.DomDocument;

Você pode por favor me ajudar com isso?