Raspe páginas da Web em tempo real com o Node.js

O que é bom era raspar o conteúdo do site usando o Node.js. Eu gostaria de criar algo muito, muito rápido que possa executar pesquisas no estilo dekayak.com, onde uma consulta é despachada para vários sites diferentes, os resultados são raspados e retornados ao cliente assim que ficam disponíveis.

Vamos supor que esse script apenas forneça os resultados no formato JSON, e podemos processá-los diretamente no navegador ou em outro aplicativo da web.

Alguns pontos de partida:

Usando node.js e jquery para raspar sites

Alguém tem alguma ideia?

questionAnswers(8)

yourAnswerToTheQuestion