Existem muitos sites que usam esse (imo) estilo "rolagem infinita" irritante. Exemplos disso são sites como tumblr, twitter, 9gag, etc.

Eu recentemente tentei copiar algumas fotos desses sites programaticamente com o HtmlAgilityPack. como isso:

HtmlWeb web = new HtmlWeb();  
HtmlDocument doc = web.Load(url);
var primary = doc.DocumentNode.SelectNodes("//img[@class='badge-item-img']");
var picstring = primary.Select(r => r.GetAttributeValue("src", null)).FirstOrDefault();

Isso funciona bem, mas quando tentei carregar o HTML de certos sites, notei que só recebi uma pequena quantidade de conteúdo (digamos que os primeiros 10 "posts" ou "fotos", ou qualquer outra coisa ...) me pergunto se seria possível simular a "rolagem para baixo até o fundo" da página em c #.

Este não é o caso quando eu carrego o html programaticamente, quando eu simplesmente vou para sites como o tumblr, e eu verifico o firebug ou apenas "view source", eu esperava que todo o conteúdo estivesse lá em algum lugar, mas um monte disso parece estar escondido / inserido com javascript. Apenas o conteúdo que está realmente visível na minha tela está presente na fonte HTML.

Então, minhas perguntas são: é possível simular infinitamente rolando para baixo para uma página e carregando nesse HTML com c # (de preferência)?

(Eu sei que eu posso usar API's para tumblr e twitter, mas eu estou apenas tentando ter algumas coisas divertidas de hackers junto com o HtmlAgilityPack)