Результаты поиска по запросу "web-crawler"

1 ответ

Есть ли .NET-эквивалент Perl LWP / WWW :: Mechanize?

После работы с .NET /

1 ответ

Веб-сканер Разбор PHP / Javascript ссылок?

В настоящее время я использую HTML Agility Pack в C # для веб-сканера. Мне удалось избежать многих проблем (недопустимые URI, такие как ссылки "/extra/u...

1 ответ

Apache Nutch 2.1 другой идентификатор партии (ноль)

Я сканирую несколько сайтов с Apache Nutch 2.1. Во время сканирования я вижу следующее сообщение на многих страницах: ех. ...

ТОП публикаций

4 ответа

Исключить ботов и пауков из счетчика просмотра в PHP

Я создал довольно простой менеджер рекламы для сайта на PHP. Я говорю простой, потому что он не сложен, как реклама в Google, Facebook или даже на самых высококлассных рекламных серверах. Не обрабатывает платежи или что-либо или даже нацеливание ...

1 ответ

Хорошо использовать сканер внутри, чтобы получить список ссылок.

л фрагмент сценария, чтобы сканировать веб-сайт, поставить его на свой сервер, и он работает. Единственная проблема заключается в том, что если я пытаюсь ползти и устанавливаю глубину выше 4, это не работает. Мне интересно, если это ...

2 ответа

Могу ли я использовать WGET для создания карты сайта с учетом его URL?

Мне нужен скрипт, который может сделать паук на сайте и вернуть список всех просканированных страниц в текстовом или аналогичном формате; который я представл...

1 ответ

Как контролировать порядок выхода в Scrapy

Помогите! Чтение следующего кода скрапа и результата сканирования. Я хочу сканировать некоторые данные изhttp://china.fathom.info/data/data.json, и толькоScr...

3 ответа

Как сканировать данные регистрации в Foursquare?

Можно ли жадным способом сканировать данные регистрации из foursquare? (даже если у меня нет дружбы со всеми пользователями) Так же, как ползать общедоступные твиттер-сообщения. Если у вас есть опыт или предложения, пожалуйста, поделитесь. Благодарю.

8 ответов

Сканеры Google интерпретируют Javascript? Что делать, если я загружаю страницу через AJAX? [закрыто]

Когда пользователь заходит на мою страницу, я должен сделать еще один вызов AJAX ... чтобы загрузить данные в div. Тот'Просто, как работает мое приложени...

1 ответ

Как бы я скачать все виды файлов с веб-сайта?

У меня есть следующий код в новом классе: