Criando um bot / crawler

Eu gostaria de fazer um pequeno bot para poder surfar automaticamente e periodicamente em um site de poucos parceiros. Isso economizaria várias horas para muitos funcionários aqui.

O bot deve ser capaz de:

conectar-se a este site, em alguns deles se registra como usuário, acessar e analisar uma informação específica no site.O bot deve ser integrado ao nosso site e alterar suas configurações (usuário usado ...) com dados do nosso site. Eventualmente, deve resumir a informação de análise.De preferência, esta operação deve ser feita do lado do cliente, não no servidor.

Eu tentei dardo no mês passado e adorei ... Eu gostaria de fazê-lo em dardo.

Mas estou um pouco perdido: posso usar um objeto de classe Document para cada site que quero analisar? Poderia ser sem cabeça ou devo usar o chrome / dartium api para controlar o navegador (eu gostaria de evitar isso)?

Eu tenho lido este tópico:https://groups.google.com/a/dartlang.org/forum/?fromgroups=#!searchin/misc/crawler/misc/TkUYKZXjoEg/Lj5uoH3vPgIJ Faz usandohttps://github.com/dart-lang/html5lib é uma boa ideia para o meu caso?

questionAnswers(1)

yourAnswerToTheQuestion