Результаты поиска по запросу "screen-scraping"
Может ли HTTP-запрос на основе cURL полностью имитировать браузерный запрос?
Это вопрос из двух частей. Q1: Может ли запрос на основе cURL на 100% имитировать запрос на основе браузера? Q2: Если да, то какие параметры должны быть установлены. Если нет, то что еще делает браузер, который не может быть имитирован ...
Scrapy, соскребая данные внутри Javascript
Я используюscrapy [https://scrapy.org/]скрининг данных с веб-сайта. Тем не менее, данные, которые я хотел, находились не внутри самого html, а из javascript. Итак, мой вопрос: Как получить значения (текстовые значения) таких случаев? Это сайт, ...
Безголовый скриптовый Firefox / Webkit на Linux?
Я хочу автоматизировать некоторые веб-взаимодействия, а именно периодическую загрузку файлов с защищенного веб-сайта. Это в основном включает в себя ввод моего имени пользователя / пароля и переход к соответствующему URL. Я попробовал простые ...
или некоторые другие свойства, которые вам не нужны для простого изменения URL.
я проблемы с кодировкой символов, которые я просто не могу понять. По сути, я вычеркиваю некоторый HTML-код сайта с помощью PHP, затем запускаю его через DOMDocument PHP, чтобы изменить некоторые URL-адреса и т. Д., И когда это будет сделано, он ...
Или же
ужно почистить данные с сайта, но для этого нужно сначала войти в систему. Я использовал hpricot для успешной очистки других сайтов, но я новичок в использовании механизации, и я действительно озадачен тем, как с этим работать. Я вижу этот ...
Есть способы сделать это, но они довольно сложны. Я предлагаю вам взглянуть на шаблоны JQuery (Google это). Они позволяют легко анализировать JSON.
осительно новичок во всей идее разбора HTML. Я надеялся, что смогу прийти сюда, чтобы получить помощь, которая мне нужна! В основном то, что я хочу сделать (я думаю), это указать URL страницы, с которой я хочу получить данные. В этом случае ...
Чтобы получить исторические котировки Yahoo с 3 марта 2012 года по 5 марта 2012 года.
аюсь получить цены на акции, просматривая страницы финансов Google, я делаю это на python, использую пакет urllib, а затем использую регулярное выражение для получения ценовых данных. Когда я оставляю свой скрипт Python запущенным, он сначала ...
@DitmarWendt это всего лишь пример того, как повторно использовать куки, полученные ранее после выполнения входа в систему.
аюсь использовать Ruby-версию Mechanize для извлечения билетов моего работодателя из системы управления билетами, от которой мы уходим, которая не предоставляет API. Проблема в том, что Mechanize не хранит файлы cookie междуpost вызов иget ...
Это сработало для меня. Большое спасибо!
я есть фрагмент кода, который я пытаюсь проанализировать с nokogiri, который выглядит так: <td class="j"> <a title="title text1" href="http://link1.com">Link 1</a> (info1), Blah 1,<br> <a title="title text2" href="http://link2.com">Link ...
Есть ли PHP-эквивалент WWW :: Mechanize в Perl?
Я ищу библиотеку, которая имеет функциональность, аналогичную PerlWWW :: Mechanize [http://search.cpan.org/dist/WWW-Mechanize/lib/WWW/Mechanize.pm#SYNOPSIS], но для PHP. По сути, это должно позволить мне отправлять HTTP-запросы GET и POST ...