Результаты поиска по запросу "web-scraping"
Scrapy с вложенным массивом
Я новичок в scrapy и хотел бы понять, как очищать объект для вывода во вложенный JSON. Прямо сейчас я создаю JSON, который выглядит как [ {'a' : 1, 'b' : '2', 'c' : 3}, ]И я хотел бы это больше так: [ { 'a' : '1', '_junk' : [ 'b' : 2, 'c' : ...
Как вы просматриваете заголовки запросов, которые использует механизация?
Я пытаюсь отправить некоторые данные в форму программно. У меня небольшая проблема, из-за которой серверу «не нравится» то, что я отправляю. К сожалению, нет сообщений об ошибках или чего-либо, что могло бы помочь диагностировать проблему, все, ...
CsQuery для анализа коллекции элементов li
Вот мой код: CQ dom = CQ.Create(htmlString); var items = dom[".blog-accordion li"]; foreach (var li in items) { var newTournament = false; var test = li["header h2"]; } Внутри цикла foreachli превращается вIDomObject переменная, и я больше не ...
Проверка URL для 404 ошибки Scrapy
Я просматриваю набор страниц, и я не уверен, сколько их, но текущая страница представлена простым числом, присутствующим в URL (например, " http://www.website.com/page/1 [http://www.website.com/page/1]«) Я хотел бы использовать цикл for в ...
Возможно ли, что Scrapy получит простой текст из необработанных HTML-данных напрямую, а не с помощью селекторов xPath?
Например scrapy shell http://scrapy.org/ content = hxs.select('//*[@id="content"]').extract()[0] print content тогда я получил следующие необработанные HTML-коды: <div id="content"> <h2>Welcome to Scrapy</h2> <h3>What is Scrapy?</h3> ...