Esta pregunta suena fácil, pero no es tan simple como parece.

Breve resumen de lo que está mal.

Por ejemplo, usa este tablero;http://pinterest.com/dodo/web-designui-and-mobile/

Examinando el HTML para el tablero mismo (dentro de ladiv con la claseGridItems) en la parte superior de los rendimientos de la página:

<div class="variableHeightLayout padItems GridItems Module centeredWithinWrapper" style="..">
    <!-- First div with a displayed board image -->
    <div class="item" style="top: 0px; left: 0px; visibility: visible;">..</div>
    ...
    <!-- Last div with a displayed board image -->
    <div class="item" style="top: 3343px; left: 1000px; visibility: visible;">..</div>
</div>

Sin embargo, en la parte inferior de la página, después de activar el desplazamiento infinito un par de veces, obtenemos esto como HTML:

<div class="variableHeightLayout padItems GridItems Module centeredWithinWrapper" style="..">
    <!-- First div with a displayed board image -->
    <div class="item" style="top: 12431px; left: 750px; visibility: visible;">..</div>
    ...
    <!-- Last div with a displayed board image -->
    <div class="item" style="top: 19944px; left: 750px; visibility: visible;">..</div>
</div>

Como puede ver, algunos de los contenedores para las imágenes que se encuentran más arriba en la página han desaparecido, y no todos los contenedores para las imágenes se cargan al cargar la página por primera vez.

Lo que quiero hacer

Quiero poder crear un script en C # (o cualquier otro idioma del servidor en este momento) que pueda descargar el HTML completo de la página (es decir, recuperar todas las imágenes de la página), y las imágenes se descargarán de sus URL. Descargar la página web y usar un XPath apropiado es fácil, pero el verdadero desafío es descargar el HTML completo para cada imagen.

¿Hay alguna forma de emular el desplazamiento hacia la parte inferior de la página o hay una forma aún más fácil de recuperar cada imagen? Me imagino que Pinterest usa AJAX para cambiar el HTML, ¿hay alguna manera en que pueda activar programáticamente los eventos para recibir todo el HTML? ¡Gracias de antemano por las sugerencias y soluciones, y felicitaciones por leer incluso esta pregunta tan larga si no tiene ninguna!

Pseudo codigo

using System;
using System.Net;
using HtmlAgilityPack;

private void Main() {
    string pinterestURL = "http://www.pinterest.com/...";
    string XPath = ".../img";

    HtmlDocument doc = new HtmlDocument();

    // Currently only downloads the first 25 images.
    doc.Load(strPinterestUrl);

    foreach(HtmlNode link in doc.DocumentElement.SelectNodes(strXPath))
    {
         image_links[] = link["src"];
         // Use image links
    }
}