Результаты поиска по запросу "web-crawler"
Обнаружение поисковых сканеров с помощью JavaScript
Мне интересно, как бы я пошел в поисках поисковых роботов? Причина, по которой я спрашиваю, заключается в том, что я хочу подавить определенные вызовы JavaScript, если агент пользователя является ботом. Я нашел пример того, как обнаружить ...
Как сканировать Facebook на основе информации о дружбе?
Я аспирант, чьи исследования сложная сеть. Я работаю над проектом, который включает анализ связей между пользователями Facebook. Можно ли написать сканер для Facebook на основе информации о дружбе? Я огляделся, но пока не нашел ничего полезного. ...
Сканеры Google интерпретируют Javascript? Что делать, если я загружаю страницу через AJAX? [закрыто]
Когда пользователь заходит на мою страницу, я должен сделать еще один вызов AJAX ... чтобы загрузить данные в div. Вот так работает мое приложение. Проблема в том, что ... когда я просматриваю источник этого кода, он не содержит источник этого ...
Извлечь содержимое (загруженное через вызов AJAX) веб-страницы
Я новичок в ползании. У меня есть требование получать сообщения и комментарии по ссылке. Я хочу автоматизировать этот процесс. Я подумал об использовании webcrawler и jsoup для этого, но мне сказали, что webcrawlers в основном используются для ...
Scrapy Spider для JSON Response
Я пытаюсь написать паука, который сканирует следующий ответ JSON: http://gdata.youtube.com/feeds/api/standardfeeds/UK/most_popular?v=2&alt=json [http://gdata.youtube.com/feeds/api/standardfeeds/UK/most_popular?v=2&alt=json] Как будет выглядеть ...
База данных для веб-сканера в Python?
Привет, я пишу сканер в Python для извлечения новостных статей с новостных сайтов, таких как nytimes.com. Я хочу знать, что было бы хорошим БД для использования в качестве бэкэнда для этого проекта? Заранее спасибо!
Как получить исходный код веб-страницы с Java [дубликата]
На этот вопрос уже есть ответ: Как вы программно загружаете веб-страницу на Java [/questions/238547/how-do-you-programmatically-download-a-webpage-in-java] 11 ответов Я просто хочу получить исходный код любой веб-страницы из Java. Пока я нашел ...
Node.JS: Как передать переменные в асинхронные обратные вызовы? [Дубликат]
На этот вопрос уже есть ответ: JavaScript замыкание внутри циклов - простой практический пример [/questions/750486/javascript-closure-inside-loops-simple-practical-example] 39 ответов Я уверен, что моя проблема основана на недостаточном ...
Возможно ли, что Scrapy получит простой текст из необработанных HTML-данных напрямую, а не с помощью селекторов xPath?
Например scrapy shell http://scrapy.org/ content = hxs.select('//*[@id="content"]').extract()[0] print content тогда я получил следующие необработанные HTML-коды: <div id="content"> <h2>Welcome to Scrapy</h2> <h3>What is Scrapy?</h3> ...