Istnieje wiele stron, które używają tego (imo) irytującego stylu „nieskończonego przewijania”. Przykładami tego są witryny takie jak tumblr, twitter, 9gag itp.

Niedawno próbowałem zeskrobać niektóre zdjęcia z tych stron programowo za pomocą HtmlAgilityPack. lubię to:

HtmlWeb web = new HtmlWeb();  
HtmlDocument doc = web.Load(url);
var primary = doc.DocumentNode.SelectNodes("//img[@class='badge-item-img']");
var picstring = primary.Select(r => r.GetAttributeValue("src", null)).FirstOrDefault();

Działa to dobrze, ale gdy próbowałem wczytać HTML z niektórych witryn, zauważyłem, że odzyskałem tylko niewielką ilość treści (powiedzmy pierwszych 10 „postów” lub „obrazów”, czy cokolwiek innego). zastanawiam się, czy byłoby możliwe symulowanie „przewijania w dół” strony w c #.

To nie jest przypadek, gdy ładuję html programowo, kiedy po prostu przechodzę do stron takich jak tumblr i sprawdzam firebug lub po prostu „wyświetl źródło”, spodziewałem się, że cała zawartość będzie gdzieś tam, ale dużo wydaje się być ukryty / wstawiony za pomocą javascript. Tylko źródło, które jest rzeczywiście widoczne na moim ekranie, jest obecne w źródle HTML.

Tak więc moje pytania brzmią: czy można symulować nieskończenie przewijanie strony i ładowanie tego kodu HTML za pomocą c # (najlepiej)?

(Wiem, że mogę używać API dla tumblr i twitter, ale po prostu próbuję zabawić się w Hackera razem z HtmlAgilityPack)