Дедупликация в пункте 1.11 для сайтов с одинаковым содержимым и разными URI

Apache Nutch 2.1 другой идентификатор партии (ноль)

Я сканирую несколько сайтов с Apache Nutch 2.1. Во время сканирования я вижу следующее сообщение на многих страницах: ех. ...

Это неправда. Ларсман дает хороший ответ. если google.com ссылается на google.com/service/contact/phone, то это будет глубина 1, а не 3, как вы говорите.

отаю на гусеничном шасси и мне нужно точно понять, что подразумевается под "глубиной ссылки". Возьмите орех, например:http://wiki.apache.org/nutch/...

Nutch сообщение «No IndexWriters активирован» при загрузке в Solr

Я запустил гусеничный ход согласно учебнику http://wiki.apache.org/nutch/NutchTutorial [http://wiki.apache.org/nutch/NutchTutorial]но когда я начал загружать его, чтобы узнать, я получаю это сообщение, т.е.IndexWriters не активированы - проверьте ...

Использование Nutch для сканирования указанного списка URL

У меня есть один миллион URL-адресов для получения. Я использую этот список как семена орешка и использую основныеползатькоманда Nutch, чтобы получить их. Тем не менее, я считаю, что Nutch автоматически выбирает URL, которых нет в списке. Я ...

Nutch сообщение «No IndexWriters активирован» при загрузке в Solr

Я запустил гусеничный ход согласно учебникуhttp://wiki.apache.org/nutch/NutchTutorial но когда я начал загружать его, чтобы узнать, я получаю это сообщение, ...

Как разобрать HTML с Nutch и индексировать определенный тег для Solr?

Да, есть способ. Взгляните на cache.jsp, чтобы увидеть, как он отображает кэшированные данные.

ли способ получить html-содержимое каждой веб-страницы во время сканирования веб-страницы?

Apache Nutch 2.1 другой идентификатор партии (ноль)

Я сканирую несколько сайтов с Apache Nutch 2.1. Во время сканирования я вижу следующее сообщение на многих страницах: ех. ...

http://www.atlantbh.com/precise-data-extraction-with-apache-nutch/

аюсь использоватьApache Nutch v1.3 извлечь только некоторый конкретный контент из веб-страниц. Проверен плагин html parse. Кажется, это нормализует каждую html-страницу, используя tagsoup или nekohtml. Это хорошо. Мне нужно извлечь только текст ...