Estoy tratando de raspar los enlaces de una página que genera contenido dinámicamente a medida que el usuario se desplaza hacia abajo (desplazamiento infinito). He intentado hacer cosas diferentes con Phantomjs pero no puedo reunir enlaces más allá de la primera página. Digamos que el elemento en la parte inferior que carga el contenido tiene clase.has-more-items. Está disponible hasta que el contenido final se carga mientras se desplaza y luego deja de estar disponible en DOM (pantalla: ninguna). Aquí están las cosas que he intentado

Configuración de viewportSize a una gran altura justo despuésvar page = require('webpage').create();

page.viewportSize = {ancho: 1600, altura: 10000,};

Utilizandopage.scrollPosition = { top: 10000, left: 0 } dentropage.open pero no tienen efecto como-

page.open('http://example.com/?q=houston', function(status) {
   if (status == "success") {
      page.scrollPosition = { top: 10000, left: 0 };  
   }
});

También intenté ponerlo dentro.page.evaluate función pero que da

Error de referencia: no se puede encontrar la página variable

Intentado usando jQuery y código JS dentropage.evaluate ypage.open pero fue en vano-

$ ("html, body"). animate ({scrollTop: $ (document) .height ()}, 10, function () {//console.log('check para su ejecución ');});

como es y tambien por dentrodocument.ready. Del mismo modo para el código JS-

window.scrollBy(0,10000)

como es y tambien por dentrowindow.onload

Estoy realmente impresionado por 2 días y no puedo encontrar una manera. Cualquier ayuda o sugerencia sería apreciada.

Actualizar

He encontrado una pieza de código útil enhttps://groups.google.com/forum/?fromgroups=#!topic/phantomjs/8LrWRW8ZrA0

var hitRockBottom = false; while (!hitRockBottom) {
    // Scroll the page (not sure if this is the best way to do so...)
    page.scrollPosition = { top: page.scrollPosition + 1000, left: 0 };

    // Check if we've hit the bottom
    hitRockBottom = page.evaluate(function() {
        return document.querySelector(".has-more-items") === null;
    }); }

Dónde.has-more-items es la clase de elemento a la que quiero acceder, que está disponible inicialmente en la parte inferior de la página y, a medida que nos desplazamos hacia abajo, se mueve hacia abajo hasta que todos los datos se cargan y luego dejan de estar disponibles.

Sin embargo, cuando lo probé, está claro que se está ejecutando en bucles infinitos sin desplazarse hacia abajo (renderizo las imágenes para verificar). He tratado de reemplazarpage.scrollPosition = { top: page.scrollPosition + 1000, left: 0 }; con códigos desde abajo también (uno a la vez)

window.document.body.scrollTop = '1000';
location.href = ".has-more-items";
page.scrollPosition = { top: page.scrollPosition + 1000, left: 0 };
document.location.href=".has-more-items";

Pero nada parece funcionar.