Результаты поиска по запросу "screen-scraping"
Спасибо всем, я в конечном итоге использовал решение Уильяма. На случай, если у кого-нибудь появятся будущие проекты, вот мой полный код для сбора нескольких URL-адресов для подсчета подписчиков:
у проанализировать количество подписчиков на сайте с BeautifulSoup. Это то, что я до сих пор: username_extract = 'lazada_my' url = 'https://www.instagram.com/'+ username_extract r = requests.get(url) soup = BeautifulSoup(r.content,'lxml') f = ...
Программный браузер Python с JavaScript
Я хочу отсканировать сайт, который использует JavaScript.Естьмеханизировать, программный веб-браузер для Python. Тем не менее, это (по понятным причинам) неt...
Запустите несколько пауков-скрапов одновременно с помощью скрапа
Я используюSCRAPY для проекта, где я хочу очистить несколько сайтов - возможно, сотни - и мне нужно написать отдельного паука для каждого сайта. Я могу запла...
php - самый быстрый способ проверить наличие текста во многих доменах (выше 1000)
У меня работает скрипт php, и я использую cURL для получения содержимого веб-страниц, на которых я хотел бы проверить наличие текста.Прямо сейчас это выгляди...
Nokogiri, open-uri и Unicode символы
Я использую Nokogiri и open-uri, чтобы получить содержимое тега title на веб-странице, но у меня проблемы с акцентированными символами. Какой лучший способ с...
BeautifulSoup и ASP.NET/C#
Кто-нибудь интегрировал BeautifulSoup с ASP.NET/C# (возможно, с использованием IronPython или иным способом)? Есть ли альтернатива BeautifulSoup или порт, ко...
Событие щелчка CasperJS с вызовом AJAX
Я пытаюсь получить данные с сайта, имитируя события, используя CasperJS с phantomJS 1.7.0. Я могу имитировать обычные события кликов и выбирать события. Но мой код не работает в следующем сценарии: Когда я нажимаю кнопку / привязку и т. Д. На ...
Сетевой этикет этикеток [закрыто]
Я рассматриваю возможность написания простого веб-приложения для извлечения информации с веб-сайта, который, по-видимому, специально не запрещает это. Я проверил другие альтернативы (например, RSS, веб-сервис), чтобы получить эту информацию, но ...
Отбор посетителей из Google Analytics в реальном времени
У меня много сайтов, и я хочу создать панель мониторинга, показывающую количество посетителей в режиме реального времени на каждом из них на одной странице. ...
Варианты очистки веб-страниц - только версия C ++
Я ищу хорошую библиотеку C ++ для просмотра веб-страниц. Этодолженбыть C / C ++ иничегоиначе, пожалуйста, не направляйте меня кВарианты соскоба HTML [https://stackoverflow.com/questions/2861/options-for-html-scraping]или другие вопросы / ответы ...