Результаты поиска по запросу "web-scraping"

1 ответ

Как установить значение по умолчанию, когда селектор Scrapy возвращает None

Я пытался установить значение по умолчанию, когда результат моего селектора xpath возвращает None. Это происходит, когда на некоторых страницах узел xpath не...

3 ответа

выбирая второго ребенка в красивый суп

Позвольте сказать иметь:

2 ответа

Python получает запрос, возвращающий другой HTML, чем исходный вид

Я пытаюсь извлечь фанфик из URL-адреса нашего собственного архива, чтобы использовать библиотеку NLTK для лингвистического анализа. Однако каждая попытка уда...

ТОП публикаций

1 ответ

Скачать полную страницу с scrapy

Я хочу скачать контент целой страницы, используя scrapy.С селеном это довольно просто:

0 ответов

Использование r для навигации и очистки веб-страницы с помощью раскрывающихся HTML-форм

Я пытаюсь очистить данныеhttp://www.footballoutsiders.com/stats/snapcounts, но я не могу изменить поля в выпадающих списках на сайте («команда», «неделя», «п...

1 ответ

Как перебирать несколько страниц результатов при просмотре веб-страниц с помощью Beautiful Soup

У меня есть сценарий, который я написал, где я использую Beautiful Soup, чтобы очистить сайт для результатов поиска. Мне удалось изолировать данные, которые ...

1 ответ

Html Agility Pack: поиск узла комментариев

Я очищаю веб-сайт, использующий Javascript, для динамического заполнения содержимого веб-сайта пакетом Html Agility.В основном я искал XPATH

1 ответ

Переименовать загруженные файлы селен

Я использую селен для автоматической загрузки файлов в формате CSV с этой страницы:https://catalog.data.gov/dataset?tags=crimeЭто код, который я использую:

1 ответ

Разбор HTML-элементов Java, сгенерированных JS

Я очень новичок в разборе html с Java, ранее я использовал JSoup для анализа простого html без его динамического изменения, однако теперь мне нужно проанализ...

1 ответ

Могу ли я использовать Watir для очистки данных с веб-сайта на сервере Linux без монитора?

Могу ли я использовать Watir для очистки данных с веб-сайта (используется AJAX), но на сервере Linux без монитора? (linode.com)?