Amazon веб-соскоб
Я пытаюсь наскрести цены на Амазонку фантомами и питоном. Я хочу разобрать его с красивым супом, чтобы получить новые и использованные цены на книги, проблема в том, что когда я передаю исходный запрос, который я делаю с phantomjs, цены равны всего лишь 0,00, код - это простой тест.
Я новичок в изучении веб-страниц, но я не понимаю, есть ли у amazon меры, позволяющие избежать снижения цен, или я делаю это неправильно, потому что я пробовал другие более простые страницы и могу получить нужные данные.
PD Я в стране, где не поддерживается использование Amazon API, поэтому скребок необходим
import re
import urlparse
from selenium import webdriver
from bs4 import BeautifulSoup
from time import sleep
link = 'http://www.amazon.com/gp/offer-listing/1119998956/ref=dp_olp_new?ie=UTF8&condition=new'#'http://www.amazon.com/gp/product/1119998956'
class AmzonScraper(object):
def __init__(self):
self.driver = webdriver.PhantomJS()
self.driver.set_window_size(1120, 550)
def scrape_prices(self):
self.driver.get(link)
s = BeautifulSoup(self.driver.page_source)
return s
def scrape(self):
source = self.scrape_prices()
print source
self.driver.quit()
if __name__ == '__main__':
scraper = TaleoJobScraper()
scraper.scrape()