Я хочу сделать обратный инжиниринг содержимого, созданного прокруткой вниз на веб-странице. Проблема в URLhttps://www.crowdfunder.com/user/following_page/80159?user_id=80159&limit=0&per_page=20&screwrand=933. screwrand не похоже на какой-либо шаблон, поэтому обратные URL-адреса не работают. Я рассматриваю автоматический рендеринг с использованием Splash. Как использовать Splash для прокрутки, как в браузерах? Большое спасибо! Вот коды для двух запросов:

request1 = scrapy_splash.SplashRequest('https://www.crowdfunder.com/user/following/{}'.format(user_id),
                                                        self.parse_follow_relationship,
                                                        args={'wait':2},
                                                        meta={'user_id':user_id, 'action':'following'},
                                                        endpoint='http://192.168.99.100:8050/render.html')
yield request1

request2 = scrapy_splash.SplashRequest('https://www.crowdfunder.com/user/following_user/80159?user_id=80159&limit=0&per_page=20&screwrand=76',
                                                    self.parse_tmp,
                                                    meta={'user_id':user_id, 'action':'following'},
                                                    endpoint='http://192.168.99.100:8050/render.html')
yield request2

запрос AJAX отображается в консоли браузера